首页 > 电脑常识 > 人工智能

0607-参数初始化策略

admin 人工智能 2021-04-26 16:44:06  
后台-系统设置-扩展变量-手机广告位-内容正文底部

0607-参数初始化策略

目录
  • 一、参数初始化策略概述
  • 二、利用 nn.init 初始化
  • 三、直接初始化

pytorch完整教程目录:https://www.cnblogs.com/nickchen121/p/14662511.html

一、参数初始化策略概述

深度学习中,一个好的参数初始化策略可以让模型更快地收敛,而一个差的参数初始化策略可能会让模型很难进行收敛,反复震荡甚至崩溃。

nn.Module 中的参数一般都采取了比较合适的初始化策略,因此一般我们不需要考虑。不过我们也可以自定义一个参数初始化策略代替系统默认的,比如当我们使用 Parameter 时,由于 t.Tensor() 返回的是内存中的随机数,很可能会有极大值,这会时训练网络时造成溢出或者梯度小时,因此此时自定义一个参数的初始化策略尤为重要。

torch 中的 nn.init 模块专门为初始化设计,实现了一些常用的初始化侧路了,而且就算如果某种初始化策略 nn.init 不提供,用户也可以自己直接初始化。

二、利用 nn.init 初始化

Glorot 正态分布初始化方法,也称作 Xavier 正态分布初始化,参数由 0 均值,标准差为 \(\sqrt{\frac{2}{(fan_{in} + fan_{out}})}\) 的正态分布产生,其中\(fan_{in}\) 和 \(fan_{out}\) 是分别权值张量的输入和输出元素数目。这种初始化同样是为了保证输入输出的方差不变,但是原论文中 [1] 是基于线性函数推导的,同时在 tanh 激活函数上有很好的效果,但不适用于ReLU激活函数。

\[std=gain×\sqrt{\frac{2}{fan_{in}+fan_{out}}} \]

看不懂就别看了,我都没仔细看,百度 copy 来的。

参考:[1] Understanding the difficulty of training deep feedforward neural networks — Glorot, X. & Bengio, Y. (2010)

import torch as t
from torch import nn
from torch.nn import init
linear = nn.Linear(3, 4)

t.manual_seed(1)
# 等价于 linear.weight.data.normal_(0, std)
init.xavier_normal_(linear.weight)  #
Parameter containing:
tensor([[ 0.3535,  0.1427,  0.0330],
        [ 0.3321, -0.2416, -0.0888],
        [-0.8140,  0.2040, -0.5493],
        [-0.3010, -0.4769, -0.0311]], requires_grad=True)

三、直接初始化

import math
t.manual_seed(1)

# xavier初始化的计算公式
std = math.sqrt(2) / math.sqrt(7.)
linear.weight.data.normal_(0, std)
tensor([[ 0.3535,  0.1427,  0.0330],
        [ 0.3321, -0.2416, -0.0888],
        [-0.8140,  0.2040, -0.5493],
        [-0.3010, -0.4769, -0.0311]])
# 对模型的所有参数进行初始化
for name, params in net.named_parameters():
    if name.find('linear') != -1:  # 对所有全连接层的参数进行初始化
        # init linear
        params[0]  # weight
        params[1]  # bias
    elif name.find('conv') != -1:
        pass
    elif name.find('norm') != -1:
        pass
---------------------------------------------------------------------------

NameError                                 Traceback (most recent call last)

<ipython-input-3-78d2673ab1d6> in <module>
      1 # 对模型的所有参数进行初始化
----> 2 for name, params in net.named_parameters():
      3     if name.find('linear') != -1:  # 对所有全连接层的参数进行初始化
      4         # init linear
      5         params[0]  # weight


NameError: name 'net' is not defined

文章来源:https://www.cnblogs.com/nickchen121/p/14701862.html

后台-系统设置-扩展变量-手机广告位-内容正文底部
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
本文地址:https://jcdi.cn/diannaochangshi/rengongzhineng/839.html

留言与评论(共有 0 条评论)
   
验证码:
后台-系统设置-扩展变量-手机广告位-评论底部广告位

教程弟

https://www.jcdi.cn/

统计代码 | 京ICP1234567-2号

Powered By 教程弟 教程弟

使用手机软件扫描微信二维码