subtitle
Cha-6-循环神经网络-总结3 Cha-6-循环神经网络-总结3
本章概念1. 门控循环单元 门控循环单元rnn梯度计算的时候,当时间步较大或者时间步较小时,梯度较容易出现衰减或者爆炸。裁剪梯度可以应对梯度爆炸,但无法解决梯度衰减问题。所以实际中,rnn较难捕捉时间序列中时间步距离较大的依赖关系。 门控
Cha-6-循环神经网络-总结2 Cha-6-循环神经网络-总结2
本章概念:一、输入数据处理网络要处理的文本数据,需要将文本中的每个词都转换成one-hot向量。长度设为d(即为词典的大小)设输入数据的批次大小为n,步长step,那么每次(每个时间步)计算的时候,都是输入n个字符串,每个字符串的长度是st
Cha-6-循环神经网络-总结 Cha-6-循环神经网络-总结
本章概念:隐藏变量(隐藏状态):循环神经网络:语言模型: 一、语言模型1. 语言模型用来干什么? 自然语言文本可以看作一段离散的时间序列。假设一段长度为T的文本中的词依次为w1, w2, …,wT,那么对于每个词wt都可以看作是时间步t的标
Cha5-卷积神经网络-总结 Cha5-卷积神经网络-总结
一、本章涉及到的专业名词和概念卷积神经网络:含有卷积层的神经网络。互相关运算:二维卷积层:它有宽和高两个维度,常用来处理图像数据。将输入和卷积核做互相关运算,并加上一个标量偏差来得到输出。参数包括卷积核和标量偏差。卷积运算:二维卷积层互相关
Cha4-深度学习计算-总结 Cha4-深度学习计算-总结
一、本章涉及到的专业名词和概念本章没有模型相关的概念,主要是pytorch相关的函数使用方法 二、模型构造的方法继承Module类来构造模型使用Sequential类来构造模型使用ModuleList类来构造模型使用ModuleDict类来
Cha3 深度学习基础-总结 Cha3 深度学习基础-总结
一. 本章涉及到的专业名词和概念(这些概念什么意思,是属于哪一级别的概念,属于哪方面的概念)概念级别: L0 原子概念:从面试角度看,不会再往下分了。 L1 基础概念:涉及到2个以上原子概念或者可以往下分析的 L2 综合概念:涉及到2个以