登录 | 注册 | 忘记密码
首页IT互联网最新科技

最新科技

数据批量标准化方法、计算设备和计算机可读存储介质与流程 (数据标准化的几种方法)

来源: 浏览: 16次  更新时间:2021-12-11 18:59

目录

excel对数据进行标准化

数据批量尺度化办法、估计设备和估计机可读保存介质与过程

1.本创造综合而言波及深度神经搜集估计范围更简直地波及一种数据批量尺度化办法、估计设备和估计机可读保存介质。


背景本领:

2.深度神经搜集(dnn)是一种包括多个湮没层(中央层)的神经搜集。姑且网址之家波及一种数据批量尺度化办法、估计设备和估计机可读保存介质。


背景本领:

2.深度神经搜集(dnn)是一种包括多个湮没层(中央层)的神经搜集。姑且深度神经搜集已经款待运用于语音辨别、图像辨别等范围。在这些范围中不妨运用预先获得的语音样品、图像样品等闭于深度神经搜集进行熟习以赢得相应的熟习后的神经搜集模型。该熟习后的神经搜集模型不妨用于闭于新的语音数据大概者图像数据进行辨别。
3.深度神经搜集的熟习是一个搀杂的过程搜集的前方层的微弱的变化城市乏积夸大到反面的层从而前方层熟习参数的革新将引导反面层输出数据分别的变革也称为输出分别漂移(internal covariate shift)这使得模型熟习起来特别艰巨抑制速度很缓而且容易展示梯度消逝的问题。
4.为此在深度神经搜集中引入了批量尺度化(batch normalization,bn)的观念个中在闭于每一层的输出数据进行处置之前开始闭于这些输出数据进行批量尺度化。bn算法不妨将输出数据的特性抑制性地变幻到均值为0、方差为1的数学模型下。如许一方面每一层的数据的分别是沟通的熟习会比较容易抑制另一方面均值为0、方差为1的状况下在梯度估计时会爆发比较大的梯度值不妨加快参数的熟习。如许还不妨很好的控制梯度爆炸和梯度消逝局面。
5.姑且的bn算法在每一层处置时须要遍历每一批次(batch)的十脚数据(下文称为批量输出数据)估计该批量输出数据的方差和均值然降后行批量尺度化安排。因为该办法须要遍历每个批次的十脚数据跟着呆板进修的模型越来越大单个批次的数据常常胜过了显卡缓存的大小(普遍仅有几m字节)。因此bn算子运算过程中缓存的掷中率较矮须要从内存中导入数据这进一步引导了特殊的开支。
6.其他bn安排是熟习过程中的重要耗时模块之一更加是中央层的层数越多(比方闭于于用于图像辨其他深度神经搜集来说中央层的层数常常会胜过20层)bn消耗的时间将越多。在一些典范的搜集构造(如resnet、densenet等)中bn安排耗费的时间约为所有熟习过程的1/3。


本领实行因素:

7.针闭于上述问题中的起码一个本创造供给了一种数据批量尺度化办法其经过闭于批量输出数据进行通道分组置换使得仅运用本始的批量输出数据的一身材集即可赢得较为精确的均值和方差的估计值从而闭于该本始的批量输出数据进行批量尺度化。
8.依据本创造的一个方面供给了一种用于深度神经搜集的数据批量尺度化办法。该办法包括:接收批量输出数据个中所述批量输出数据具备多个维度所述多个维度包括通道维度用于公布所述批量输出数据的通道数;将所述批量输出数据的通道维度变换为
组维度和子通道维度的拉拢;闭于所述组维度和所述子通道维度进行转置以赢得所述批量输出数据的转置输出数据;从所述转置输出数据中去除所述组维度以赢得所述批量输出数据的降维输出数据;以及基于所述降维输出数据决定所述子通道维度公布的每身材通道的均值和方差。
9.依据本创造的另一个方面供给了一种估计设备。该估计设备包括:起码一个处置器;以以起码一个保存器该起码一个保存器被耦合到该起码一个处置器而且保存用于由该起码一个处置器实行的指令该指令当由该起码一个处置器实行时使得该估计设备实行依据上述办法的办法。
10.依据本创造的再一个方面供给了一种估计机可读保存介质其上保存有估计机步调代码该估计机步调代码在被运行时实行如上所述的办法。
11.运用本创造的筹备一方面经过运用批量输出数据的一身材集来赢得该批量输出数据的均值和方差的估计值使得bn安排的数据处置量降矮从而耗时缩小。另一方面经过尽大概运用处于普遍地位(如普遍显卡缓存)的批量输出数据的子集来闭于该批量输出数据的均值和方差进行估计普及了显卡缓存的掷中率进一步降矮了资材开支。
附图证明
12.经过参照下列附图所给出的本创造的简直实行办法的刻画将更好地领会本创造而且本创造的其他手段、细节、特性和便宜将变得更加不言而喻。
13.图1示出了依据现有本领的深度神经搜集的构造表示图。
14.图2示出了依据现有本领的卷积神经搜集的构造表示图。
15.图3示出了用于实行依据本创造的实行例的数据批量尺度化办法的估计设备的表示图。
16.图4示出了依据本创造实行例的数据批量尺度化办法的过程图。
17.图5示出了符合实行本创造的实行例的估计设备的构造方框图。
简直实行办法
18.底下将参照附图更留神地刻画本创造的优选实行例。虽然附图中表露了本创造的优选实行例然而该当领会不妨以百般办法实行本创造而不应被此地论述的实行例所节制。差异供给这些实行例是为了使本创造更加深刻和完备而且不妨将本创造的范畴完备地转达给本范围的本领人员。
19.在本文中运用的术语“包括”及其变形展现盛开性包括即“包括然而不限于”。除非特别证明术语“大概”展现“和/大概”。术语“基于”展现“起码局部地基于”。术语“一个实行例”和“一些实行例”展现“起码一个示例实行例”。术语“另一实行例”展现“起码一个其他的实行例”。术语“第一”、“第二”等等不妨指代不共的大概沟通的闭于象。
20.图1示出了依据现有本领的深度神经搜集100的构造表示图。如图1中所示深度神经搜集100不妨包括输出层110、多个湮没层120和输出层130。个中每个层与其相邻的层是全对接的即该层的所有一个神经元均与其相邻层的所有一个神经元贯串。在深度神经搜集100中在每个层的处置之前不妨闭于该层的输出数据进行批量尺度化处置以使得输出数据符合正态分别。
21.图2示出了依据现有本领的卷积神经搜集200的构造表示图。卷积神经搜集200的构造与深度神经搜集100好像其是深度神经搜集100的一种特别办法。如图2中所示卷积神经搜集200不妨包括输出层210、多个由卷积层220、饱励层230和池化层240产生的湮没层以及一个动作输出层的全对接层250。
22.图3示出了用于实行依据本创造的实行例的数据批量尺度化办法的估计设备30的表示图。如图3中所示估计设备30不妨包括起码一个处置器310和与该起码一个处置器310耦合的起码一个保存器320该保存器320中保存有可由该起码一个处置器310实行的指令330该指令330在被该起码一个处置器310实行时实行如下所述的办法400的起码一局部。简直地保存器320中保存的指令330不妨包括建立如上共同图1所示的深度神经搜集100大概者图2所示的卷积神经搜集200的指令代码以在运行时实行如下共同图4所述的数据批量尺度化办法400。估计设备30的简直构造比方不妨如下共同图5所述。
23.图4示出了依据本创造实行例的数据批量尺度化办法400的过程图。
24.如图4中所示在办法410估计设备30接收批量输出数据x。办法410不妨在图1所示的深度神经搜集100的输出层110大概者湮没层120处实行大概者在图2所示的卷积神经搜集200的输出层210大概饱励层230处实行。在输出层110大概210处批量输出数据x不妨是待熟习的本始样品数据(如语音样品数据大概图像样品数据)的特性弛量也不妨是待辨其他语音数据大概图像数据(比方在深度神经搜集100大概卷积神经搜集200被熟习之后)的特性弛量。在每个湮没层120大概饱励层230处批量输出数据x不妨是前一层(如前一湮没层120大概卷积层220)处置爆发的弛量数据而且用于在湮没层120大概饱励层230进前进一步处置。
25.批量输出数据x不妨具备多个维度而且个中一个维度是通道维度用于公布该批量输出数据x的通道数。
26.在一种实行例中每一层的输出数据不妨展现为高度和宽度分别为h和w(比方以像素为单元)、通道数为c的图像数据而且每个批次的输出数据(即批量输出数据x)包括n个输出数据则该批量输出数据x不妨运用四个维度(高度h、宽度w、数目n、通道数c)来展现即批量输出数据x∈r
n
×
h
×
w
×
c
个中r表本质数空间。
27.比方闭于于深度神经搜集100大概卷积神经搜集200来说其本始输出数据(输出层110大概210)不妨是rgb方法的图像数据每个图像数据的特性弛量(tensor)不妨展现为一个三维弛量其由高度h和宽度w产生的二维坐标以及通道数为3(即血色、绿色、蓝色各一个通道)的通道维度产生。如许每个图像的弛量数据不妨展现为高度维度、宽度维度和通道维度展现的三维坐标x=(i
h
,i
w
,i
c
)个中h∈hw∈wc∈c。
28.又比方该本始输出数据也不妨是cmyk方法的图像数据在这种情景下每个图像数据的特性弛量的通道数为4(即青色、洋血色、黄色、玄色各一个通道)该图像的弛量数据不妨好像地展现为如上所述的三维坐标。
29.在深度神经搜集100的湮没层120大概卷积神经搜集200的饱励层230爱远航365网址导航官网该图像的弛量数据不妨好像地展现为如上所述的三维坐标。
29.在深度神经搜集100的湮没层120大概卷积神经搜集200的饱励层230取决于搜集构造输出数据的通道数c有大概很大(比方为128)从而形成在该层的每个输出图像数据的数据量很大而且当输出图像数据的数据量n也很大时该批量输出数据x的大小将使得直接进行bn安排会消耗格外多的处置时间。
30.接下来在办法420估计设备30不妨将该批量输出数据x的通道维度变换为组维度和子通道维度的拉拢。
31.简直地估计设备30不妨将通道维度的通道数c拆分为多个组如g个组。在一种实行例中每个组不妨包括不共的子通道数。比方在预先领会批量输出数据的缓存分别的情景下不妨依据缓存分别将批量输出数据x的通道数c拆分为多个组每个组的子通道数不妨不共。
32.在另一种实行例中每个组不妨包括沟通的子通道数比方展现为k即c=g*k。经过使得每个组包括沟通的子通道数不妨采用个中的一组输出数据来闭于批量输出数据x的均值和方差进行估计。因为各组输出数据的数据量沟通因此均值和方差的估计值不妨几乎不受所采用的输出数据的组的效率。在本创造的以下刻画中在不特别证明的情景下每个组包括沟通的子通道数。
33.在一些实行例中在办法420中估计设备30不妨基于组数目g和子通道数k将批量输出数据x的通道维度数据变换为以组维度和子通道维度展现的二维数据。个中组维度公布该通道维度数据在该g个组中所属的组子通道维度公布该通道维度数据在所属的组中所属的子通道。
34.经过将通道维度拆分为组维度和子通道维度该批量输出数据x的维度减少了一如许批量输出数据x不妨展现为x':
35.x'∈r
n
×
h
×
w
×
g
×
k

36.批量输出数据x中的每个输出数据x不妨展现为x'=(i
h
,i
w
,i
g
,i
k
)个中g∈gk∈k。也即是说每个输出数据x不妨由其高度维度h上的坐标值i
h
、宽度维度w上的坐标值i
w
、组维度g上的坐标值i
g
(即所属的组g)以及子通道维度k上的坐标值i
k
(即在所属的组g中的子通道k)来展现。
37.接下来在子办法430估计设备30闭于变换后的批量输出数据x'的组维度和子通道维度进行转置以赢得该批量输出数据x的转置输出数据x”:
38.x”∈r
n
×
h
×
w
×
k
×
g

39.如许批量输出数据x中的每个输出数据x不妨展现为其转置办法:x”=(i
h
,i
w
,i
k
,i
g
)。
40.在办法440估计设备30从转置输出数据x”中去除组维度g以赢得批量输出数据x的降维输出数据z:
41.z∈r
n
×
h
×
w
×
k

42.如许降维输出数据z中的每个输出数据z不妨运用高度维度h、宽度维度w和子通道维度k来展现比方输出数据z不妨展现为:
43.z=(i
h
,i
w
,i
k
)。
44.经过这种办法赢得的降维输出数据z的数据演变为批量输出数据x的数据量的1/g。
45.在一种实行例中降维输出数据z不妨是g个组中的任一组的输出数据。
46.在另一种实行例中降维输出数据z不妨是从g个组当采用的一组输出数据。如前所述在不妨摆设缓存分别的情景下估计设备30可认为批量输出数据x和/大概降维输出数据z调配最便于考察的缓存比方调配在估计设备30本地的普遍缓存大概相邻缓存上。更简直地不妨采用g个组中的第一组动作该降维输出数据z。比方在批量输出数据x在体系中程序保存的情景下如许采用的降维输出数据z将是常规bn安排时最早考察的输出数据因此
其数据考察的时间消耗将格外矮。
47.接下来在办法450估计设备30不妨基于该降维输出数据z决定子通道维度公布的每身材通道的均值和方差。
48.比方该降维输出数据z在子通道i(i=1,2,
……
k)的均值μ
i
和方差σ
i
不妨分别经过如下公式(1)和公式(2)估计赢得:
[0049][0050][0051]
个中m=n*h*w/g展现降维输出数据z的数据量而且z
j
∈z展现降维输出数据z的m个数据中的第j个数据(j=1,2,
……
m)。
[0052]
不妨瞅出闭于于每个通道而言在顽固的bn安排中其须要遍历的数据量为n=n*h*w而在依据本创造的bn安排中其须要遍历的数据量为m=n*h*w/g=n/g。
[0053]
至此经过闭于批量输出数据x的通道维度数据进行分组置换使得不妨基于该批量输出数据的一身材集决定一身材通道的均值和方差该均值和方差不妨动作批量输出数据x在闭于应通道的均值和方差的估计值。
[0054]
进一局面办法400还不妨包括尺度化办法个中估计设备30基于办法450决定的每身材通道的均值和方差闭于批量输出数据x进行尺度化。
[0055]
比方不妨运用下列公式(3)闭于批量输出数据x中的输出数据x
j
(j=1,2,
……
n)进行尺度化以赢得尺度化的输出数据x'
j

[0056][0057]
如许在经过上述批量尺度化安排之后尺度化后的批量输出数据x的分别基础上满脚均值为0方差为1立即势部的尺度化的输出数据x'
j
降入非线性函数的线性区内其闭于应的导数离开导数饱和区从而使得后续的激活安排的导数值增大加快熟习抑制过程。
[0058]
然而上述批量尺度化的效验基究竟当于把非线性函数替代成线性函数在多层线性函数变幻的情景下这将遗失道理从而搜集的表白本领低沉。因此为了保护非线性的赢得不妨持续闭于上述尺度化后的输出数据x'
j
进行缩放宁静移安排以爆发尺度化的输出数据x'
j
的非线性版本动作该批量尺度化安排的最后输出数据即下一湮没层120大概饱励层230的本质输出数据。比方不妨经过如下的公式(4)来赢得尺度化的输出数据x'
j
的非线性版本:
[0059]
y

j
=γx

j

ꢀꢀꢀ
(4)
[0060]
个中ε是一个很小的恰巧(比方为1.0e
‑5)用于预防尺度化时间母坍塌γ是缩放变量β是平移变量缩放变量γ宁静移变量β用于保护每一次数据经过尺度化后还保持本有进修来的特性共时又能完成尺度化安排加快熟习它们是深度神经搜集100大概卷积神经搜集200熟习过程中须要进修的参数之一。
[0061]
在闭于批量输出数据x中的每个输出数据都进行了上述尺度化安排之后不妨运用
尺度化的批量输出数据大概其非线性版本实行深度神经搜集100大概卷积神经搜集200的各个层的处置。比方在卷积神经搜集200的饱励层230不妨闭于上述尺度化的批量输出数据大概其非线性版本施加饱励函数(比方施加sigmoid大概relu函数)。
[0062]
和顽固的批量尺度化办法比拟本创造提出的矫正的批量尺度化办法仅需读取局部数据数据的局域性很好不妨在保护精度基础不变的情景下明显缩小bn的安排时间。更简直地经过如办法420所述的通道分组安排普及了采样数据的局域性明显缩小了bn采样数目这将大大俭朴估计时间。比方在分组数为16的情景下时间搀杂度将降矮为顽固的批量尺度化办法的6.7%。而且经过采用适合的分组数不妨让采样数据小于显卡缓存的大小如许会使得缓存的掷中率大幅普及将进一步缩小许据考察的时间。另一方面经过如办法430所述的置换安排不妨保证处置精度基础不变闭于所有熟习和推理过程基础不爆发效率。
[0063]
图5示出了符合实行本创造的实行例的估计设备500的构造方框图。估计设备500比方不妨是如上所述的估计设备30。
[0064]
如图5中所示估计设备500不妨包括一个大概多个核心处置单元(cpu)510(图中仅表示性地示出了一个)其不妨依据保存在只读保存器(rom)520中的估计机步调指令大概者从保存单元580加载到随机考察保存器(ram)530中的估计机步调指令来实行百般符合的办法和处置。在ram 530中还可保存估计设备500安排所需的百般步调和数据。cpu 510、rom 520以及ram 530经过总线540彼此贯串。输出/输出(i/o)接口550也对接至总线540。
[0065]
估计设备500中的多个零件对接至i/o接口550包括:输出单元560比方键盘、鼠标等;输出单元570比方各品种型的表露器、扬声器等;保存单元580比方磁盘、光盘等;以及通讯单元590比方网卡、调制解调器、无线通讯收发机等。通讯单元590答应估计设备500经过诸如因特网的估计机搜集和/大概百般电信搜集与其他设备调换信息/数据。
[0066]
上文所刻画的办法400比方可由估计设备500(如估计设备30)的cpu 510实行。比方在一些实行例中办法400可被实行为估计机软件步调其被有形地包括于呆板可读介质比方保存单元580。在一些实行例中估计机步调的局部大概者理想不妨经过rom 520和/大概通讯单元590而被载入和/大概安置到估计设备500上。当估计机步调被加载到ram 530并由cpu 510实行时不妨实行上文刻画的办法100的一个大概多个安排。其他通讯单元590不妨救济有线大概无线通讯功效。
[0067]
本范围本领人员不妨领会图5所示的估计设备500仅是表示性的。在一些实行例中估计设备30不妨包括比估计设备500更多大概更少的零件。
[0068]
以上共同附图闭于依据本创造的批量尺度化办法400以及可用作估计设备30的估计设备500进行了刻画。然而本范围本领人员不妨领会办法400的办法的实行并不限制于图中所示和以上所述的程序而是不妨以所有其他合理的程序来实行。其他估计设备500也不必定包括图5中所示的十脚组件其不妨只是包括实行本创造中所述的功效所必定的个中一些组件而且这些组件的对接手法也不限制于图中所示的办法。
[0069]
本创造不妨是办法、安装、体系和/大概估计机步调产品。估计机步调产品不妨包括估计机可读保存介质其上载有用于实行本创造的各个方面的估计机可读步调指令。
[0070]
在一个大概多个示例性安排中不妨用硬件、软件、固件大概它们的大肆拉拢来实行本创造所述的功效。比方假如用软件来实行则不妨将所述功效动作一个大概多个指令大概代码
保存在估计机可读介质上大概者动作估计机可读介质上的一个大概多个指令大概代码来传输。
[0071]
本文果然的安装的各个单元不妨运用分立硬件组件来实行也不妨集成地实姑且一个硬件组件如处置器上。比方不妨用通用处置器、数字旗号处置器(dsp)、博用集成电路(asic)、现场可编程门阵列(fpga)大概其他可编程逻辑器件、分立门大概者晶体管逻辑、分立硬件组件大概用于实行本文所述的功效的大肆拉拢来实行大概实行共同本创造所刻画的百般示例性的逻辑块、模块和电路。
[0072]
本范围普遍本领人员还该当领会共同本创造的实行例刻画的百般示例性的逻辑块、模块、电路和算法办法不妨实行成电子硬件、估计机软件大概二者的拉拢。
[0073]
本创造的以上刻画用于使本范围的所有普遍本领人员不妨实行大概运用本创造。闭于于本范围普遍本领人员来说本创造的百般建改都是不言而喻的而且本订婚义的普遍性本理也不妨在不摆脱本创造的精力和保护范畴的情景下运用于其他变形。因此本创造并不限于本文所述的实例和安排而是与本文果然的本理和新颖性个性的最广范畴相普遍。

对数标准化

数据标准化的几种方法

数据标准化

数据标准化方法及公式

标准化的基本方法

标准化改善的三种方法

TAG标签: 计算机系统软件有哪些专利技术 介质损耗测试是什么专利技术 等保二级标准专利技术 计算机数据处理专利技术 软件与程序的区别是专利技术 数据存储备份首选介质专利技术


文章转载请注明出处:http://www.rcfle.cn/zuixinkeji-184/137479.html


上一篇:
下一篇:

相关资讯