CRNN( Convolutional Recurrent Neural Network)由华科白翔等人提出。

介绍

crnn主要关注CV中的一个经典难题:基于图片的序列识别。现实世界中,一大群视频对象,比如场景文字(scene text)、手写、音阶符,以序列方式出现。不同于通用目标识别,识别这样的序列对象通常需要系统去预测一串对象labels,而非单个label。因而,识别这样的目标很自然地转化成一个序列识别问题。序列化目标的另一个独特属性是,它们的长度变化很大。例如,英文词汇可以包含2个字符“OK”,也可以包含15个符如“congratulations”。因而,大多数流行的deep模型(比如DCNN)不能直接应用于序列预测,因为DCNN模型经常在固定维度的inputs和outputs上操作,不能产生变长的label sequence

对于一个特定的序列对象(比如:场景文字),已经有一些方法来解决该问题。例如,在[35,8]中的算法首先对单个字符进行检测,接着对这些被检测的字符使用DCNN进行识别,可以使用带标注的字符图片进行训练。这样的方法通常需要训练一个很强的字符检测器,来从原始图片中精准地检测和裁减每个字符。一些其它方法[22]会将场景文字识别看成是一个分类问题,为每个英文词汇(总共90K words)分配一个class label。将它看成是一个带有大量分类的训练模型,它很难泛化到其它类型的目标上,比如:中文文字、音阶等,因为这种类型序列的基本组合远超100w。总之,当前基于DCNN的系统不能直接用于基于图片的序列识别。

RNN模型是Deep模型的另一分支,主要用于处理序列。RNN的一个好处是,它不需要知道在训练和测试时一个序列目标图片中每个元素的位置。然而,需要有一个预处理step来将一个输入目标图片转化成一个图片特征序列。例如,Graves et al.[16]从手写文本中抽取一个几何集合 或者 图片特征,而paper[33]将word images转化成顺序化的HOG特征。这些预处理step与pipeline中的子任何组件相互独立,因而,基于RNN的系统不能以一种end-to-end的方法地直接被训练和优化

一些传统的场景文字识别方法,它们不基于神经网络,也能在该领域带来重大启发和新颖的表示。paper[5]和paper[30]提出来将word images和text strings嵌入到一个公共的向量子空间中,将文字识别转换成一个检索问题(retrieval problem)。paper[36]和paper[14]使用中间级别的特征来进行场景文字识别。尽管在标准的benchmarks上取得了效果提升,这些方法总体上好于之前的神经网络方法,本文方法也能做到。

该paper的主要贡献是一个新的NN模型,它的网络架构是专门为识别图片中的序列化对象而设计的。提出的NN模型被命名为“CRNN ( Convolutional Recurrent Neural Network)”,因为它是一个DCNN和RNN的组合。对于序列化对象,比起CNN模型,CRNN具有着一些明显的优点:

  • 1) 它可以直接从sequence labels(例如:words)中学习,无需详细注解(例如:characters)
  • 2) 在从图片数据中直接学习有信息表示时,它具有DCNN的相同特性,即不用手工特征,也不用预处理steps(包括:二值化/分割,成分定位等)
  • 3) 它具有RNN的相同属性,可以产生一个labels序列
  • 4) 它不限制序列化对象的长度,在训练和测试阶段只需要高度归一化
  • 5) 它在场景文字识别上,比之前的方法要好
  • 6) 比起标准的DCNN,它包含了更少的参数,消耗更少的存储空间

2.网络结构

CRNN的网络结构如图1所示,自底向上,包含了三个组成部分:

  • 卷积层(conv layers)
  • 递归层(recurrent layers)
  • 一个合成层(transcription layer)

图1

在CRNN的底部,conv layers从每一张输入图片中自动抽取一个特征序列。在卷积网络的顶部,构建一个recurrent网络来对通过conv layers输出的每一帧的特征序列做预测。transcription layer将每一帧的预测翻译成一个label sequence。尽管CRNN由不同的网络结构组成,它可以使用一个loss function进行jointly training。

2.1 特征序列抽取

在CRNN模型中,conv layers的组件通过从一个标准的CNN模型所使用的conv layers和max-pooling layers进行构建(移除FC layers)。这样的组件被用于从一个输入图片中抽取一个序列化特征表示。在feed给网络之前,所有的图片需要被归一化成相同的高度。接着,一个特征向量的序列会从feature maps中被抽取出来。特别的,一个特征序列的每个feature vector通过在feature maps上按列从左到右来生成。这意味着,第i个feature vector是所有maps中的第i列的拼接(concatenation)。在我们的设置中,每一列的宽度寄存定为单个pixel。

由于有conv layers、max-pooling layers、以及element-wise激活函数在局部区域上操作。它们是平移不变的(translation invariant)。因而,feature maps的每列对应于原始图片的一个矩形区域(术语称为“receptive field”),这样的矩形区域与在feature maps中相应的从左到右的相对应的列具有相同的顺序。如图2所示,在特征序列中的每个vector与一个receptive field相关联,可以被看成是该区域的图片描述符

图2: receptive field. 在被抽取的特征序列中,每个向量都与输入图片上的一个receptive field相关,可以被认为是该区域的特征向量

对于不同类型的视觉识别任务,健壮的、丰富的、可训练的卷积特征被广泛使用。一些之前的方法采用CNN来学习一个关于序列目标(比如:场景文字)的健壮表示。然而,这些方法通常会通过CNN来抽取整个图片的全局表示,接着收集局部深度特征来识别该序列目标。由于CNN需要输入图片缩放到一个固定size,以满足固定的输入维度,不适合变长的序列化目标识别。在CRNN中,我们将deep features转成顺序表示,以便能表示不同长度的序列化目标。

2.2 Sequence Labeling

在conv layers之上,构建了一个deep bi-RNN网络。该recurrent layers可以为在特征序列中的每一帧预测一个label分布。该recurrent layer的优点有三个。

  • 首先,RNN具有很强的能力来捕获在序列中的上下文信息。对于基于图片的序列识别使用上下文信息,比将每个符号单独对待的方式更稳定更有用。将场景文本识别看成一个示例,宽字符可能需要许多个连续帧才能完整描述(如图2所示)。另外,当观察它们的上下文时,一些模糊的字符很容易区分;例如,很容易识别“il”,通过区别该字符高度而非单个字符单独识别。
  • 第二,RNN可以对error微分进行反向传播至它的输入(例如:conv layer),从而允许我们在同一网络中对recurrent layers和conv layers进行jointly training。
  • 第三,RNN能在特有长度的序列上操作,从头到尾进行遍历。

一个典型的RNN unit在它的input layers和output layers间具有自连接的hidden layer。每次它接受序列中的一帧时,它会使用一个带有当前输入和过去状态作为输入的非线性函数()来更新它的内部状态。接着,基于做出预测。在这种方式下,过去的上下文 可以被捕获并用来进行预测。然而,传统的RNN unit,存在着梯度消失问题,这限制了它可存储的上下文范围,增加了训练过程的负担。LSTM是一种特殊的RNN unit,可以用来解决该问题。一个LSTM(如图3所示)包含了一个memory cell和三个乘法门,称为:input gates, output gates和forget gates。概念上,memory cell会存储过去的上下文,input gates和output gates允许cell存储一段时间的上下文。同时,在cell中的memory可以被forget gate清除。LSTM的这种特殊设计允许它捕获长范围依赖,这通常发生在基于图片的序列上。

LSTM是有向的,它只使用过去的上下文。然而,在基于图片的序列中,两个方向的上下文都是有用的。因而,我们使用了两个LSTMs来组成双向LSTM:一个向前,一个向后。另外,多个bi-LSTMs可以进行stack,产生一个如图3.b所示的deep bi-LSTM。deep结构比shallow结构允许更高级的抽象,在语音识别上可以达到极大的效果提升[17]。

图3: LSTM. (a) 单个LSTM unit (b)paper中所使用的bi-LSTM结构。它会将一个forward LSTMs和一个backward LSTMs组合产生一个bi-LSTM。将多个bi-LSTM进行Stacking可以产生一个deep bi-LSTM。

在recurrent layers上,error微分(differentials)沿如图3.b所示的箭头反向传播,例如:Back-Propagation Through Time(BPTT)。在recurrent layers的底部,传播的微分序列被级联成maps,将feature maps转换成feature sequences的操作进行反向,fed back到conv layers。实际上,我们创建了一个定制的network layer,称为“Map-to-Sequence”,来作为在conv layers和recurrent layers间的桥梁

2.3.1 label序列的概率

我们采用了由Graves et al.[15]提出的Conectionist Temporal Classifcation(CTC) layer中所定义的条件概率。该概率被定义成,对于label sequence (l) ,在每帧预测上的条件概率,它会忽略在l中每个label所处的位置。因此,当我们使用该概率的负log-likelihood作为目标来训练该网络时,我们只需要图片和它们相应的label序列,从而避免为单独的字符标注位置。

条件概率的公式可以如下简短描述:

输入是一个序列,其中T是序列长度。接着,每个是一个在集合上的概率分布。其中L包含了任务中的所有labels(例如:所有英文字符),以及空白(blank)label。一个seq-to-seq的映射函数B被定义在序列上,其中T为长度。B将映射到l上,通过首先移除重复的labels,接着移除空白。例如,B将“–hh-e-l-ll-oo–”(其中’-‘表示空白)映射到”hello”。接着,条件概率被定义成通过B将所有映射到l上概率求和:

…(1)

其中的概率被定义成,其中是在时间t时具有label 的概率。直接计算等式(1)在计算上是不可行的,因为求和项是指数级别的。然而,等式(1)可以通过paper[15]中提到forward-backward算法进行有效计算。

2.3.2 Lexicon-free transcription

在该模式下,序列 表示等式(1)的最高概率。由于不存在可训练的算法来精准求解,我们使用paper[15]的策略进行。序列可以通过进行近似。例如,在每一时刻t上采用最可能的label ,将产生的序列映射到上。

2.3.3 Lexicon-based transcription

在lexicon-based模式下,每个测试样本会与一个词典D相关系。通常,label序列通过选择在词典中具有等式(1)的最高条件概率的序列被识别。例如,。然而,对于大词典,例如,50k-words的Hunspell spell-checking dictionary,在词典上执行搜索是一个非常耗时的开销。例如,为在词典中的所有的sequence计算等式(1)的概率,并选择最高的概率。为了解决该问题,我们观察到,label sequences通过lexicon-free transcription方式进行预测,通常会在编辑距离(edit distance metric)上更接近ground truth。这意味着,我们可以将我们的搜索限制在最近邻候选上,其中是最大编辑距离,I’是在lexicon-free模式下从y转录得到的序列:

…(2)

候选可以通过BK-tree结构有效发现,它是一种metric tree用来离散化metric空间。BK-tree的搜索时间复杂度为,其中是lexicon size。因此,该scheme可以扩展到非常大的词典上。在我们的方法中,为一个词典离线构建了一个BK-tree。接着,我们使用该tree执行了最快的在线搜索,通过小于或等于到query sequence的编辑距离来发现序列。

2.4 网络训练

训练数据集通过的定义,其中是训练图片,是ground truth的label sequence。目标函数是最小化ground truth的条件概率的-log-likelihood:

…(3)

其中,是由经过recurrent layers和conv layers所产生的序列。该目标函数会从一张图片和它的ground truth的label序列间计算一个cost value。因此,该网络可以在(images, sequences) pairs上进行端到端训练,消除训练图片中由人工标注所有独立components的过程。

该网络使用SGD进行训练。Gradients的计算通过BP算法进行。特别的,在transcription layer,error微分通过back-propagated结合forward-backward算法计算。在recurrent layers,会使用Back-Propagation Through Time (BPTT) 来计算error微分。

对于optimization,我们使用AdaDelta来自动计算每个维度的learning rates。对比常用的momentum方法,AdaDelta无需人工设置一个learning rate。更重要的,我们发现,使用AdaDelta的optimization比momentum方法收敛更快。

3.试验

为了评估CRNN模型的有效性,我们在场景文识别和音阶识别的标准benchmarks上进行试验。

3.1 Datasets

对于场景文本识别的所有试验,我们使用Jaderberg【20】的synthetic dataset (Synth)作为试验。该dataset包含了800w的训练图片,以及相应的ground truth的words。这样的图片通过一个人造文本引擎(synthetic text engine)生成,高度与现实相近。我们的网络在synthetic data上训练一次,并在其实真实世界的测试数据集上进行测试,无需在其它训练数据上做任何的fine-tuning。即使用CRNN模型是纯粹使用synthetic text data训练的,它也能在标准的文本识别becnmarks上工作良好。

目前在效果评测方面,使用了4种流行的场景文本识别benchmarks:

  • ICDAR 2003(IC03):该测试数据集包含了带标注文本边框的251张场景图片。根据paper[34],我们忽略了那些包含非字母数字字符、以及那些小于三个字符的图片,获得的测试集包含了860个裁减过的文本图片。每张测试图片与一个50-words的词典相关联(由paper[34]定义)。一个完整的词典可以通过组合所有单张图片的词典来构成。另外,我们使用了一个50k个词的词典,它包含了在Hunspell spell-checking dictionary字典中的所有词。
  • ICDAR 2013 (IC13):测试数据集继承了IC03上的大多数数据,它包含了1015张ground truth的裁减word images。
  • IIIT 5k-word (IIIT5k):包含了3000张来自互联网上的word test images。每张图都与一个50词的词典和1k-words词典相关。
  • Street View Text (SVT):该测试数据集包含了来自Google Street View的249张街景门牌图片。从它们中裁减出647张word images。每张word images具有一个由paper[34]定义的50 words的词典。

3.2 实现细节

在我们的实验中,所使用的配置如表1所示:

表1:

conv layers基于一个VGG-VeryDeep架构(paper[32])。为了让它更适合识别英文字符,会做一定调整。在第3和第4个max-pooling layers中,我们采用了1x2 的rectangular pooling window来替代常见的squared方法。该tweak yields的feature maps具有更大的宽度,更长的feature序列。例如,一张包含了10字符的图片,通常size=100x32, 其中一个feature sequence可以生成25帧。该长度超过了最大英文词汇的长度。在那之上,rectangluar pooling windows会生成rectangular receptive fields(如图2),它有益于识别具有narrow shapes的一些字符,比如’i’和’l’。

该网络不只具有deep conv layers,但也具有recurrent layers。两者很难训练。我们发现使用batch-normalization技术来训练这样深度的网络很有用。两个batch-normalization layers,训练过程可以极大加速。

我们使用torch7来实现该网络框架,定制实现了LSTM units(Torch7/CUDA),transcription layer(c++)和BK-tree数据结构(c++)。实验在工作站(2.50 GHz Intel(R) Xeon(R) E5- 2609 CPU, 64GB RAM 以及NVIDIA(R) Tesla(TM) K40 GPU)上进行训练。该网络的训练使用AdaDelta进行训练,相应的为0.9. 在训练期间,所有图片被归一化到100 x 32,以加速训练过程。训练过程大概达到50个小时后收敛。测试图片的高度被归一化到32. 宽度按高度的比例进行缩放,但至少是100个像素。平均测试时间是0.16s/sample,在IC03上进行评测,没有词典。合适的词典搜索被应用于IC03的50k词典上,参数设置为3.每个测试样本平均花费0.53s。

评测

略,详见paper.

参考

2.前置

首先,我们将使用隐式反馈的CF问题进行公式化。接着,简短介绍下广泛使用的MF模型,以及重点介绍使用内积的缺陷。

2.1 使用隐式数据进行学习

假设M和N表示users和items的数目。我们使用用户的隐式反馈来定义user-item交互矩阵

…(1)

为1表示:user u和item i间有交互;然而,它并不意味着u实际会喜欢i。相似的,该值为0也并不表示用户u不喜欢item i。对隐式数据的学习存在着许多挑战,因为它存在许多关于用户偏好的噪声数据。而已观察条目至少反映了用户在这些items上的兴趣,未观察条目可能只是缺失数据(missing data),它天然缺少负反馈

隐式反馈的推荐问题,可以公式化为:对在Y中未观察条目的得分(score)的估计问题,这些得分可以被用于进行ranking。Model-based方法假设,数据可以通过一个底层模型进行生成。正式的,他们可以被抽象成:学习,其中可以表示交叉项的预测得分,表示模型参数,f表示将模型参数映射到预测得分的函数(我们称之为“interaction function”)

为了估计参数,已经存在的机器学习方法会优化一个目标函数。有两种类型的目标函数最为常用——pointwise loss以及pairwise loss:

  • 作为在显式反馈上的一个天然扩展,pointwise learning方法通常会使用一个回归框架,对与它的目标值间的平方loss(squared loss)进行最小化。为了处理缺失的negative数据,会将所有未观察条目当成是负反馈,或者从未观察条目中进行抽样。
  • pairwise learning的思想是:已观察条目应比未观察条目排序更靠前。pairwise learning会最大化已观察条目与未观察条目间的间隔。

更近一步,我们的NCF框架会使用神经网络的方法对交叉函数f进行的参数估计。这样,它能天然支持pointwise和pairwise的两种学习方法。

2.2 矩阵分解(MF)

MF会分别将每个user和item使用一个关于隐特征的real-valued vector进行关联。假设表示user u和item i的隐向量;MF会将对的估计表示成的内积:

…(2)

其中,K表示隐空间的维度。MF会建模关于user和item隐因子的two-way interaction,假设隐空间的每个维度相互独立,并使用相同的权重进行线性组合。这样,MF可以被看成是一个关于隐因子的线性模型。

图1展示了内积函数如何限制了MF的表达力。有两个设置需要明确声明。首先,由于MF会将users和items映射到相同的隐空间上,两个用户间的相似度可以通过一个内积、或者隐向量间夹角的cosine来进行度量。第二,不失一般性,我们可以使用jaccard系数作为MF所需要去恢复的两个用户间的ground truth相似度。

图1

假设,我们首先关注在图1a中的前三行(users)。很容易有:。 这样,在隐空间中的几何关系可以如图1b所示。现在,假设我们考虑一个新的用户,它的输入可以如图1a中的虚线表示。我们有:,这意味着,最接近,接着是,最后是。然而,如果一个MF模型将挨着(如图1b虚线的两种选择),它会产生(比起)更接近,它很不幸会产生一个大的ranking loss。

以上示例展示了MF的可能限制(使用简单的、确定内积来估计在低维空间中的复杂的user-item interactions)。我们注意到,解决该问题的一种方法是,使用更大数目的隐因子K。然而,它会伤害模型的泛化能力(例如:overfitting),特别是在数据稀疏的情况下。在该工作中,我们通过使用DNN来学习交叉函数来解决该限制。

3. neural CF

我们首先描述通用的NCF框架,详述如何使用一个概率模型学习NCF,它会利用隐式数据的二元性质。我们接着展示MF在NCF下是如何表示和泛化的。为了利用DNN进行CF,我们接着提出一个NCF的实例,使用一个多层感知器(MLP)来学习user-item因子模型,它会在NCF框架下对MF和MLP进行ensembles;它会利用MF的线性能力和MLP的非线性能力来建模user-item的隐结构。

3.1 通用框架

图2

为了允许CF的神经网络方法,我们采用multi-layer表示来建模一个user-item interaction ,如图2所示,其中,一个layer的outout会看成是下一layer的input。底部的input layer包含了两个特征向量它们可以被定制化成支持更宽范围的users和items的建模,比如:context-aware和content-based,neighbor-based。由于本paper主要关注在纯粹的CF设置中,我们只使用了一个user和一个item的单位矩阵(identity)作为输入特征,并使用one-hot编码将它转成成一个关于输入的二值化稀疏特征表示。注意,这样的一个关于inputs的泛化特征表示,我们的方法可以进行简单的调整:通过使用content features来表示users和items来解决冷启动问题。

上面的input layer是embedding layer;它是一个fully connected layer,可以将稀疏表示投影到一个dense vector上。获得的user(item) embedding可以看成是,在隐因子模型的上下文中关于user(item)的隐向量。user embedding和item embedding接着被feed到一个multi-layer的神经结构中,我们将它称之为neural CF layers,它们会将隐向量映射到预测得分上。neural CF layers的每个layer可以被定制化以发现user-item interactions的特定隐结构。最终的output layer就是预测得分,训练的执行会最小化在和目标值间的pointwise loss。我们注意到,训练该模型的另一种方式是执行pairwise学习,比如,使用Bayesian Personalized Ranking和margin-based loss。该paper只关注neural network建模部分,NCF的pairwise learning的扩展是将来的工作。

我们将NCF的预测建模成:

…(3)

其中,以及,表示users和items的隐因子矩阵,表示交叉函数f的模型参数。由于函数f被定义成一个多层神经网络,它可以被公式化为:

…(4)

其中各自表示output layer和第x个neural CF layer的映射函数,它们总共有X个neural CF layers。

3.1.1 NCF学习

为了学习模型参数,已经存在的pointwise方法大多数会使用squared loss来执行回归:

…(5)

其中,表示在Y中可观察到的interactions集合,而表示负例的集合,它可以是所有(或从中抽样)未观察到的interactions;其中是一个超参数,它表示训练实例(u,i)的权重。其中squared loss可以通过假设observations从一个高斯分布中生成来解释,我们指出,它与使用隐式数据并不十分稳合。这是因为对于隐式数据,目标值是一个二值化(1或0)的值,它表示u是否与i有交互。在下文中,我们会描述一个概率化方法来学习pointwise NCF,它会关注隐式数据的二元特性。

考虑到隐式反馈的一元性质(one-class),我们将的值看成是一个label——1表示item i与y相关,否则不相关。预测得分接着会表示i如何与u相关的可能性。为了赋于NCF这样的一个概率化解释,我们需要限制output 的范围为[0,1],它可以轻易地通过使用一个概率化函数(例如:logistic or Probit function)作为output layer 的activation function来达到该目的。使用上述设定,我们可以定义likelihood function为:

…(6)

采用负log似然,我们可以达到:

…(7)

这是用于最小化NCF方法的目标函数,它的最优化通过执行SGD来完成。你可以注意到,该实现与二元cross-entropy loss相同,这也被称为logloss。通过对NCF采用一个概率化方法,我们可以将使用隐式反馈的推荐看成是一个二元分类问题。classification-aware log loss很少在推荐文献中被研究,我们在本工作中使用它,并在4.3节展示它的有效性。对于负样本,我们会在每个迭代中控制采样率(例如:观察到交叉的数目),从未观察到的交互中均匀对它们抽样。而非均匀采样策略(例如:item流行度偏差(item popularity-biased))可能会提升效果,我们会在后续工作中探索。

3.2 Generalized MF(GMF)

我们现在已经展示了MF是如何被解释成NCF框架的一个特征case。由于MF是推荐中最流行的方法,已经在许多文献中广泛研究,可以恢复它来允许NCF来模仿一个因子分解模型的大家族。

由于输入层(input layers)会使用user(item) ID的one-hot编码,获得的embedding vector可以看成是user(item)的隐向量。假设用户隐向量,而item隐向量。我们定义第一个neural CF layer的映射函数是:

..(8)

其中表示向量的element-wise product。我们接着将该向量投影到output layer上:

…(9)

其中,和h分别表示output layer的activation function和edge weights。直觉上,如果我们为使用一个identity function,并强制h是一个关于1的均匀向量,我们就可以准确恢复成MF模型。

在NCF框架下,MF可以很轻易地进行泛化和扩展。例如,如果我们允许h是从数据中学到,并没有均匀限制,它可以产生一个MF变种:允许隐维度的重要性区分。如果我们为使用一个非线性函数,它会将MF泛化成一个非线性设置,这会比线性MF模型更具表现力。在本工作中,我们实现了一个在NCF框架下的泛化版本的MF,它会使用sigmoid function 作为,并使用log loss来从数据中学习h。我们称它为GMF,即Generalized Matrix Factorization的简称。

3.3 多层感知器(MLP)

由于NCF采用两路来建模users和items,它直觉上会通过将它们两路进行拼接来组合特征。该设计在多模态深度学习中被广泛使用(multimodal deep learning)。然而,简单的向量拼接不能解释在user和item隐特征间的任意interactions,它对于建模CF效果来说是不够的。为了解决该问题,我们提出了在concated vector上添加hidden layers,并使用一个标准的MLP来学习user和item隐特征间的interaction。在某种意义上,我们可以赋予该模型一个很大的灵活性和非线性来学习间的交互,而非的方式只能使用一个固定的element-wise product。更精准的,在NCF框架下的MLP模型被定义成:

…(10)

其中,表示权重矩阵,bias向量以及第x层perceptron的activation function。对于MLP layers的激活函数,我们可以自由选择sigmoid、tanh、ReLU等。我们可以分析分个函数:

  • 1) sigmoid函数会限制每个neuron到(0,1)间,这可以限制模型的效果;它会饱和(saturation),当其它output接近0或1时,其中neurons会停止学习
  • 2) 尽管tanh是一个更好的选择,已经被广泛采用,它只能缓和sigmoid的问题到一定程度,因为它可以看成是sigmoid的归一化版本:
  • 3) 我们会采用ReLU,它更加生物上可信,并且被证明是未饱和的(non-saturated)。

再者,它鼓励稀疏激活,更适合稀疏数据,使得模型更不会overfitting。经验上ReLU会比tanh有稍微更好的效果,比sigmoid有显著更好的效果。

为了设计网络结构,一个常见解法是采用塔式结构(tower pattern),其中底层(bottom layer)是最宽的,每个后续layer会有更少的neurons数目(如图2所示)。前提是,对于更高layers通过使用更少数目的hidden units,它们可以学到更抽象的数据特征。经验上实现了塔式结构,每个后续的layer size会是前一layer size的二分之一。

3.4 GMF和MLP的Fusion

至今,已经开发了两个NCF的实例——GMF会使用一个线性kernel来建模隐特征交叉,MLP会使用一个非线性kernel来学习interaction function。那么问题来了:如何将GMF和MLP在NCF框架下进行混合,以便能利用更多者来达到对复杂的user-item interactions的更好建模。

一个简单解决方案是,让GMF和MLP共享相同的embedding layer,接着将它们的interaction function的输出进行组合。这种方法与Neural Tensor Network(NTN)的方法相近。特别的,将GMF与一个单层MLP进行组合的建模,可以公式化成:

…(11)

然而,共享GMF和MLP的embedding会限制混合模型的效果。例如,它意味着,GMF和MLP必须使用相同size的embeddings;对于那些两个模型的最优embedding size不同的数据集,这种解决方法对于获取最优ensemble会失败。

图3

为了提供对于混合模型的更多灵活性,我们允许GMF和MLP来学习单独的embeddings,并通过将它们最后的hidden layer进行拼接来将两模型进行组合。图3展示了我们的解法,可以公式化为:

…(12)

其中,可以表示成GMF和MLP部分的user embedding;而可以表示是item embeddings。如前所述,我们会使用ReLU作为MLP layers的激活。该模型会组合MF的线性的DNN的非线性来建模user-item的隐结构。我们将该模型称为“NeuMF”,即Neural Matrix Factorization的简称。该模型对于每个模型参数的导数可以通过标准的BP算法进行计算,由于篇幅限制这里忽略不讲。

3.4.1 预训练

由于NeuMF的目标函数的non-convexity特性,基于梯度的最优化方法只能找到局部最优解。因此初始化对于模型收敛和效果来说扮演着重要角色。由于NeuMF是GMF和MLP的ensemble,我们建议使用预训练好的GMF和MLP模型来初始化NeuMF。

我们首先使用随机初始化训练GMF和MLP,直到收敛。接着使用它们的模型参数作为NeuMF各自部分的初始化。output layer上的唯一缺点是,我们会拼接两个模型的权重:

…(13)

其中,表示预训练好的GMF和MLP模型的h向量,是超参数,它决定义两个预训练模型间的trade-off。

为了从头到尾训练GMF和MLP,我们采用Adam。Adam方法比vanilla SGD收敛更快。在将预训练参数feed给NeuMF后,我们使用vanilla SGD进行最优化,而非Adam。这是因为Adam需要保存momentum信息来更新参数。而我们只使用预训练模型参数来初始化NeuMF,必须放弃momentum信息,momentum-based方法并不适合进一步的NeuMF的最优化。

4.实验

实验的目的是为了回答以下的研究问题:

  • RQ1: 我们的NCF方法效果是否比state-of-art的隐式协同过滤方法效果要好?
  • RQ2: 我们的最优化框架(负采样的log loss)是否适合推荐任务?
  • RQ3: 更深layers的hidden units是否对学习user-item interaction数据更有用?

4.1

参考

https://www.comp.nus.edu.sg/~xiangnan/papers/ncf.pdf

CTPN(Connectionist Text Proposal Network)由Zhi Tian等人提出。

总览

CTPN可以在卷积特征图(convolutional feature maps)中直接检测在精密尺度(fine-scale)的text proposals序列中的文本行(text line)。它开发了一个垂直锚点机制(vertical anchor mechanism),可以联合预测关于每个固定宽度proposal的位置(location)和文本/非文本分值(text/none-text score)。序列化的proposals被连接到一个RNN上,无缝地与卷积网络相接,产生一个end-to-end的训练模型。这使得CTPN可以探索丰富的图像文本信息,可以检测相当模糊的文本。CTPN可以在多尺度(multi-scale)和多语言文本(multi-language text)环境下可靠工作,无需进一步后序处理(post-processing):这与自底向上的方法不同(它们通常需要多步后置过滤(post filtering))。在ICDAR 2013和2015 becnmarks上分别取得0.88和0.61的F-measure值,比最近的较好结果有很大的提升。CTPN的计算效率是0.14s/image,它使用了very deep VGG16 model.

一、介绍

在自然图片中读取文本最近在CV界获得广泛关注。这是由于许多实际应用,比如:图片OCR,多语言翻译,图片检索,等等。它包含了两个子任务:文本检测、文本识别。CTPN主要工作集中在文本检测任务上,它比识别更具挑战。文本模式的大量变种,以及高度混杂的背景对于精准文本定位构成巨大挑战。

当前文本检测的主要方法大多数使用了自底向上的pipeline。它们通常从低级字符(low-level character)或笔画(stroke)的检测开始,通常按照一定数量的子阶段:非文本组件过滤(non-text component filtering)、文本行构造(text line construction)和文本行验证(text line verification)。这种多步的自底向上的方法很复杂,并且健壮性和可靠性差。它们的性能很严重地依赖字符检测的结果、以及连接组件的方法、或者滑动窗口的方法。这些方法通常会探索低级特征(基于SWT,MSER,或者HoG)来将候选文本从背景中区分出来。然而,它们并不健壮,需要通过独立标识私有的笔画或字符,没有文本信息。例如,人们标识一个字符序列比标识单个字符更自信,特别是当一个字符很模糊时。这种限制通常会在字符检测上产生大量非文本组件,从而在下一步中处理它们造成主要难题。再者,这些错误的检测很容易在自底向上的pipeline上按顺序累积。为了解决这些难题,CTPN采用强的deep features来在卷积图中直接检测文本信息。另外还开发了文本锚点机制,可以精准预测在精准尺度上的文本位置。接着,提出了一个in-network recurrent架构来将这些fine-scale text proposals按顺序相连接,并将它们编码成富文本信息。

近几年,CNN在通用目标检测上有优势。state-of-art的方法是Faster Region-CNN(R-CNN)系统,其中RPN( Region Proposal Network)可以直接从卷积特征图中生成高质量的未知类别目标proposals。接着RPN proposals可以被feed到一个Fast R-CNN模型上以进一步分类(classification)和提炼(refinement),从而在通用目标检测上产生state-of-art的效果。然而,很难将这些通用目标检测系统直接应用到文本场景检测中,这种情况下通常需要一个更高的位置准确率。在通用目标检测中,每个object都具有一个定义良好的边界,而在文本中也存在这样的边界,因为一个文本行或词由一定数目的独立字符或笔画构成。对于目标检测,一个典型的正确检测的定义是松散的,比如:在检测表面的边界框和ground truth重叠(overlap)> 0.5(PASCAL standard),因为人们可以很容易地从主要部件上识别一个object。相反地,读取完整文本是一个细粒度的识别任务,它的一个正确检测必须覆盖文本行或词的完整区域。因此,文本检测通常需要一个更精准的定位,来产生一个不同的评估标准,比如:text benchmarks中常用的Wolf’s standard。

在CTPN中,会通过扩展RPN结构来进行精准文本行定位。并提出了许多技术开发手段来将generic object detection模型优雅地移植来解决文本上的难题。另外进一步提出了一个in-network recurrent机制,可以在卷积图中直接检测文本序列,避免通过一个额外的CNN检测模型来进行后置处理。

1.1

CTPN的主要架构见图1.

图1: (a) CTPN的结构. 我们通过VGG16模型的最后一层的卷积图(conv5)紧密地滑动一个3x3的空间窗口。在每行中的序列窗口通过一个Bi-LSTM进行递归连接,其中每个窗口的卷积特征(3x3xC)被用于BLSTM的256D输入(包含两个128D的LSTMs)。RNN layer被连接到一个512D的FC-layer上,后面跟着output layer,它会联合预测text/non-text scores,y坐标以及k个锚点的side-refinement offsets。 (b) CTPN输出预列化的固定宽度的fine-scale text proposals。每个box的颜色表示了text/non-text score。只有正分值的boxes才会被展示。

2.相关工作

  • 文本检测:
  • 目标检测:

略,详见paper

3.Connectionist Text Proposal Network

CTPN包括了三个主要部分:

  • 在fine-scale proposals中检测文本
  • 对text proposals进行recurrent连接(recurrent connectionist text proposals)
  • 边缘细化(side-refinement)

3.1 Detecting Text in Fine-scale Proposals

与RPN相类似,CTPN本质上是一个完全卷积网络(fully convolutional network):它允许一个任意size的输入图片。它会通过密集地在卷积特征图(convolutional feature maps)上滑动一个小窗口,并输出一串fine-scale(例如:16-pixel的宽度)的text proposals,如图1(b)所示。

这里采用了一个非常深的16-layer vggNet (VGG16)作为示例来描述 CTPN,它很容易应用于其它的deep模型。CTPN的结构如图1(a)所示。我们使用了一个小的空间窗口(spatial window),3x3,来滑动最后的卷积层中的feature maps(例如:VGG16中的conv5)。conv5的feature maps的size由输入图片的size决定,其中总的stride和receptive field由网络结构来确定。在卷积层中使用一个共享卷积计算的滑动窗口,可以减少基于该方法的计算量。

总之,滑动窗口法采用了多尺度窗口(multi-scale windows)来检测不同size的目标,其中一个固定size的window scale对应于相同size的目标。在faster R-CNN中,提出了一个高效的锚点回归机制,它允许RPN来使用单尺度窗口来检测多尺度目标。单尺度窗口的核心是:通过使用一定数量的锚点(anchors),能预测在一个宽范围尺度和尺度比例(aspect ratios)上的目标。我们希望将这种有效的锚点机制扩展到文本任务上。然而,文本与通用目标十分不同,它必须有一个定义良好的闭合边界和中心,可以从一部分来推测整个目标。它可能包含了多级别的组件:比如笔画,字符,词,文本行和文本区域,它们相互间很容易区分。文本检测是在词或文本行级别定义的,因而,通过将它定义成单个目标,它可以很容易地做出不正确的检测,例如:检测一个词的某部分。因此,直接预测一个文本行或词的位置很难或者不可靠,使得它很难达到一个满意的准确率。图2展示了一个示例,其中RPN直接训练来定位图片中的文本行。

我们寻找文本的唯一特性是,能够很好地泛化成在所有级别上的文本组件。我们观察到,RPN的词检测(word detection)很难精准预测词的水平边缘(horizontal sides),因为一个词中的每个字符是孤立或者分离的,这使得发现一个词的起点和终点容易混淆。很明显,一个文本行是一个序列,它是文本与通用目标之间的主要区别。很自然地将一个文本行考虑成一个fine-scale text proposals的序列,其中每个proposal通常表示成一个文本行的一小部分,例如,一个16-pixel宽的文本片段(text piece)。每个proposal可以包含单个或多个笔画,一个字符的一部分,单个或多个字符,等。我们相信,通过将它的水平位置固定(很难进行预测),可以更精准地预测每个proposal的垂直位置。对比RPN(它只要预测一个目标的4个坐标),这减少了搜索空间。我们开发了一个垂直锚点机制,它可以同时预测一个文本/非文本分值,以及每个fine-scale proposal的y轴位置。对比识别一个独立的字符(很容易混淆),检测一个通用固定宽度的text proposal更可靠。再者,检测在固定宽度的text proposals序列中的一个文本行,可以在多尺度和多尺度比例下可靠运行。

最后,我们按以下方式设计了fine-scale text proposal。我们的检测器(detector)会密集地(densely)检测在conv5中的每个空间位置(spatial location)。一个text proposal被定义成:具有一个16 pixels的固定宽度(在输入图片上)。这等同于将该detector密集地通过conv5 maps,其中,总的stride是完整的16 pixels。接着,我们设计了k个垂直锚点来为每个proposal预测y坐标。k个锚点具有相同的水平位置,它们都有16 pixels的宽度,但它们的水平位置以k个不同的高度进行区分。在我们的实验中,我们为每个proposal使用了10个锚点,k=10, 它们的高度从11到273个pixels不等(每次除以0.7)。显式的水平坐标通过高度和一个proposal边界框的y轴中心来进行衡量。我们根据每个锚点的边界位置,各自计算了相对预测的水平坐标(v):

…(1)

…(2)

其中,

  • 分别是相对预测坐标与ground true坐标。
  • 是中心(y轴)和锚点的高度,它们可以从一个输入图片中被预计算好。
  • 和h是预测的y轴坐标,是ground truth坐标。因此,每个预测的text proposal具有一个size=hx16的边界,如图1(b)和图2(右)所示。通常,一个text proposal会大大小于有效可接受field(228x228)。

检测过程如下。给定一个输入图片,我们具有的conv5 features maps(通过使用VGG16模型得到),其中C是feature maps或channels的数目,是空间位置(spatial arrangement)。当我们的检测器通过一个3x3的窗口通过conv5进行密集滑动时,每个滑动窗口会采用一个的卷积特征,来产生预测。对于每个预测,水平位置(x坐标)和k-anchor位置是固定的,它们可以通过将conv5上的空间窗口位置映射到输入图片上来预先计算好。我们的detector会为k个anchors在每个窗口位置输出text/non-text score和预测的y坐标(v)。检测到的text proposals从那些具有text/non-text score > 0.7的锚点上生成(没有最大限制)。通过设计垂直锚点和fine-scale检测策略,我们的检测器可以通过使用单个尺度的图片来处理多个尺度和比例范围的文本行。这进一步减小了计算量,同时还能精准预测文本行的位置。对比RPN或Faster R-CNN系统,我们的fine-scale检测提供了更详细的监督式信息,可以很自然地产生一个更精准的检测。

3.2 Recurrent Connectionist Text Proposals

为了提升位置精度,我们将一个文本行分割成一个fine-scale text proposals序列,然后各自对它们每一个进行预测。很明显地,如果独立地将它们看成单个孤立的proposal是不健壮的。这会在一些非文本目标上(它们与文本模式具有相类似结构:比如,窗,砖,叶子等)产生许多错误的检测。也可以丢弃一些包含弱文本信息的模糊模式。在图3(top)上的一些示例。文本具有很强的连续字符,其中连续的上下文信息对于做出可靠决策来说很重要。可以通过RNN来编码文本信息进行文字识别进行验证。一些paper的结果展示出,连续上下文信息可以极大地促进在裁减不好的词图片上(cropped word images)的识别任务。

受该工作的启发,我们相信该上下文信息对于我们的检测任务很重要。我们的检测器可以探索这些重要的上下文信息来做出可靠决策。再者,我们的目标是为了在卷积层直接编码该信息,产生一个优雅无缝的关于fine-scale text proposals的in-network连接。RNN可以循环地使用它的hidden layer编码该信息。出于该目的,我们提出设计一个在conv5之上的RNN layer,它采用每个窗口的卷积特征作为连续输入,循环更新在hidden layer中的内部state:

…(3)

其中,是来自第t个滑动窗口的输入的conv5 feature。滑动窗口会从左到右密集地移动,为每个row产生t=1,2,…,W的连续特征。W是conv5的宽度。是recurrent internal state,可以从当前输入()和先前在中编码的state联合计算得到。该recurrence的计算使用一个非线性函数,它定义了recurrent模型的准确形式。对于我们的RNN layer,我们采用LSTM的结构。LSTM的提出是为了解决梯度消失问题,通过引入三个额外的乘法门:input gate, forget gate和output gate。我们进一步扩展RNN layer,通过使用一个bi-directional LSTM,它允许双向编码recurrent上下文,因而, connectionist receipt field可以覆盖整个图片宽度,比如:228 x width。我们为每个LSTM使用了一个128D的hidden layer,来采用一个256D的RNN hidden layer,

的内部state被映射到下一个FC layer,以及output layer上用于计算第t个proposal的预测。因此,我们的与RNN layer集合的方式是优雅的,可以产生一个有效的模型,可以进行end-to-end训练,无需额外开销。RNN连接的高效性如图3所示。很明显,它减小了错误检测,同时,可以恢复许多缺失的text proposals(它们包含了非常弱的文本信息)。

图3: 上面三个:不使用RNN的CTPN。下面三个:使用RNN连接的CTPN

3.3 Side-refinement

fine-scale text proposals可以通过CTPN进行准确检测。文本行构建很简单,通过将那些text/no-text score > 0.7的连续的text proposals相连接即可。文本行的构建如下。首先,为一个proposal 定义一个邻居():,其中:

  • (i) 在水平距离上离最近
  • (ii) 该距离小于50 pixels
  • (iii) 它们的垂直重叠(vertical overlap) > 0.7

另外,如果,会将两个proposals被聚集成一个pair。接着,一个文本行会通过连续将具有相同proposal的pairs来进行连接来构建。

图4: 红色box:使用side-refinement的CTPN;黄色虚色的box:不使用side-refinement的CTPN。fine-scale proposal box的颜色表示一个text/non-text score

fine-scale detection和RNN连接可以预测在垂直方向上的累积位置。在水平方向上,图片被划分成一串16-pixel宽的proposals序列。当在两个水平侧( horizontal sides)的text proposals不能准确被一个ground truth文本行区域覆盖时,或者一些side proposals被丢弃时(例如:具有一个较低的text score),这会导致一个不精准的定位,如图4所示。这种不准确在通用目标检测中不是很严格,但在文本检测中不能忽视,尤其是对于那些小尺度文本行或词。为了解决该问题,我们提供了一个side-refinement方法,可以准确地为每个anchor/proposal估计在水平左侧和水平右侧的offset(被称为side-anchor或side-proposal)。与y轴坐标的预测相似,我们计算了相对offset:

…(4)

其中,是相对于当前锚点最近水平侧(比如:左或右侧)的x预测坐标。是ground truth侧在x轴坐标,通过BT 边界框和锚点位置预先计算好。是在x轴的锚点中心。是锚点宽度,它是固定的,。当将一个检测到的fine-scale text proposals序列连接成一个文本行时,该side-proposals被定义成start proposals和end proposals。在图4中的一些检测样本通过side-refinement进行提升。 side-refinement可以进一步提升位置准确率,在SWT的Multi-Lingual datasets上产生2%的效果提升。注意,side-refinement的offset可以通过我们的模型同时进行预测,如图1所示。它不需要一个额外的后置处理step。

3.4 模型输出和Loss functions

CTPN有三个outputs,它们会一起连接到最后的FC layer上,如图1(a)所示。三个outputs同时预测:text/non-text scores(s)、垂直坐标(等式(2)中的 )、side-refinement offset (o)。我们探索了k个anchors来在conv5中的每个空间位置上预测它们,在各自的output layer上产生2k, 2k和k个参数。

我们采用了多任务学习来联合优化模型参数。我们引入了三个loss functions:,会各自计算text/non-text score、坐标以及side-refinement的error。有了这些,我们会根据faster R-CNN中的多任务loss,最小化一个关于一第图片的总目标函数(L):

……(5)

其中,每个anchor是一个训练样本,i是minimatch中的一个anchor的索引。是anchor i为一个真实文本的预测概率。是ground truth。j是一个关于y坐标回归中合法anchors集合的anchor索引,定义如下。一个合法的anchor是一个已经定义的positive anchor(),或者具有一个与ground truth的text proposal具有Intersection-over-Union(IoU) > 0.5 的重合度。是第j个anchor相关的y坐标的prediction和ground truth。k是关于一个side-anchor的索引,side-anchor被定义成在距离ground truth文本行限定框左侧或右侧的水平距离(例如:32-pixel)内的一个anchors集合。分别是在第k个anchor相关的在x轴上的predicted offsets 和ground truth offsets。是regression loss。我们会根据之前的工作,通过使用L1 function进行平滑来计算它们。是用于平衡不同任务的loss weights,期望设置为1.0和2.0。是归一化参数,分别表示通过的总anchors数。

3.5 训练和实现细节

CTPN通过标准的BP和SGD来进行end-to-end的训练。与RPN相似,训练样本是anchors,它们的位置可以通过在输入图片中的位置进行预计算得到,因而每个anchor的labels可以从相应的BT box计算得到。

Training Labels:对于text/none-text分类,会分配一个二分类label:positive(文本)、negative(非文本)anchor。它们通过计算BT bounding box(通过anchor位置进行划分)的IoU overlap得到。一个positive anchor被定义为:

  • i. 一个具有一个与任意GB box有IoU>0.7的重合度(overlap)的anchor
  • ii. 一个anchor具有一个与GT box的最高IoU重合度的anchor

通过条件(ii)的定义,即使一个非常小的文本模式也可以分配一个positive anchor。这对于检测小尺度的文本模式很重要,这也是CTPN的一个核心优点。这与通用目标检测很不同。negative anchors被定义成与所有GT boxes具有IoU<0.5重合度的anchors。y坐标回归()的training labels以及offset regression ()分别通过等式(2)和(4)定义。

训练数据:在训练过程中,每个minibatch样本都从单个图片中随机收集。每个mini-batch的anchors数目固定在,正负样本的比例在1:1. 如果一个mini-batch的正样本小于64个,会用负样本进行补齐。我们的模型训练了3000张自然图片,包含229张来自ICDAR 2013训练集的图片。我们收集了其它图片并进行人工标注上相应的文本行的bounding boxes。所有这些自收集的训练样本在所有的benchmarks的任意测试图片没有重合。输入图片将它的short side设置为600进行训练,来保持它原始的比例尺。

实现细节:我们根据标准惯例,探索了极深的VGG16模型在ImageNet上的预训练。我们使用高斯分布为(0, 0.01)的随机权重来为new layers(例如:RNN和output layers)进行初始化。模型通过固定前两个convolutional layers的参数来进行end-to-end训练。我们使用0.9的momentum和0.0005的weight decay。learning rate在前16k次迭代设置为0.001, 在之后的4K次迭代使用0.0001的learning rate。我们的模型使用Caffe框架进行实现。

评测

略,详见paper。

参考

Xavier Glorot在2010年的《Understanding the difficulty of training deep feedforward neural networks》提出了xavier glorot intialization,该方法在tensorflow中直接有集成。

介绍

在2006年前,深度多层神经网络不能很成功地进行训练,自那以后,许多方法被成功训练,实验结果表明层度更深的架构要比层度浅的要好。取得的所有这些实验结果,都使用了新的初始化(intialization)或训练机制。我们的目标是,更好理解为什么深度神经网络进行随机初始化(random initialzation)的标准梯度下降,效果会很差;以及更好理解最近的成功算法以及更好地帮助你设计算法。我们首先观察下非线性激活函数的影响。我们发现,logistic sigmoid激活函数对于进行随机初始化的深度网络是不合适的,因为它的均值(mean value)会特别推动top hidden layer进入饱和态(saturation)。令人吃惊的是,我们发现饱和态单元(saturated units)可以自己摆脱饱和态(即使很慢),并解释了在训练神经网络时有时会看到的停滞态(plateaus)。我们发现,一种具有更少的饱和态的新非线性函数会更有意义。最后,在训练期间,我们研究了activations和gradients会随着layers的不同而不同,并认为:当每个layer相关的jacobian的奇异值(singular values)与1相差很大时,训练可能更困难。基于该思想,我们提出了一种新的intialization scheme,它可以带来更快的收敛。

1.DNN介绍

我们的分析受在多layers、跨多个训练迭代上监控activations(观看hidden units饱和态)、gradients的实验所启发。也评估了多种activation函数、intialzation过程上的效果。

2.实验设置和数据集

代码在这部分有介绍:http://www.iro.umontreal. ca/˜lisa/twiki/bin/view.cgi/Public/ DeepGradientsAISTATS2010

2.1 Shapeset-3x2上的在线学习

最近的深度结构研究(bengio 2009)表明,非常大的训练集或在线学习上,非监督预训练上的初始化会产生大幅提升,随着训练样本数的增加,并不会有vanish。online setting也很有意思,因为它主要关注optimization issues,而非在小样本正则化的影响,因此我们决定在我们的实验中包含一个人工合成的图片数据集,并从中抽样多个样本,来测试online学习。

我们称该数据集为Shapeset-3x2 dataset,如图1所示。shapeset-3x2包含了1或2个二维物体(objects),每个都从3个shape类目(三角形、平行四边形、椭圆形)中获取,并使用随机形态参数(相对长度/角度)、缩放、旋转、翻转和灰度化进行放置。

我们注意到,识别图片中只有一个shape的很简单。因此,我们决定抽样带有两个物体(objects)的图片,限制条件是,第二个物体不能与第一个重合超过50%的区域,来避免整体隐藏掉。该任务是预计多个物体(比如:三角形+椭圆、并行四边形+并行四边形),不需要去区分foreground shape和background shape。因此我们定义了九种配置类。

该任务相当困难,因为我们需要发现在旋转、翻转、缩放、颜色、封闭体和相对位置。同时,我们需要抽取变量因子来预测哪个object shapes。

图片的size固定在32x32,以便更有效的进行深度dense网络。

2.2 有限数据集

  • MNIST digits数据集:50000训练图片、10000验证图片、10000测试图片、每个展示了一个关于10个数字的28x28灰度图片。

  • CIFAR-10: 50000训练样本、10000验证图片、10000测试图片。10个类,每个对应于图片上的一个物体:飞机、汽车、鸟、等等。

  • Small-ImageNet:

2.3 实验设置

我们使用1到5个hidden layers、每层1000个hidden units、output ayer上一个softmax logistic regression来优化前馈神经网络. cost function是负log似然,,其中(x,y)是(输入图片,目标分类)对。该网络在size=10的minibatchs上使用随机BP,例如: 的平均g,可以通过10个连续training pairs(x,y)计算,并用于更新在该方向上的参数。learning rate 是一个超参数,它可以基于验证集error来进行最优化。

我们会使用在hidden layers上的多种类型的非线性激活函数:sigmoid,tanh(x),以及softsign 。其中softsign与tanh很相似,但它的尾部是二次多项式,而非指数,比如:它的渐近线更缓慢。

作为对比,我们会为每个模型搜索最好的参数(learning rate和depth)。注意,对于shapeset-3x2, 最好的depth总是5, 而对于sigmoid,最好的深度为4.

我们会将biases初始化为0, 在每一层的weights ,有如下公共使用的启发式方法:

其中,U[-a, a]是在区间(-a,a)上的均匀分布(uniform distribution),n是前一layer的size(列数目为W)。

3.激活函数的效果、训练期间的饱和态

我们希望避免两个事情,它们可以通过激活函数的演化来揭露:激活函数的过饱和(梯度将不会很好地进行传播),过度线性单元(overly linear units;他们有时会计算一些不感兴趣的东西)。

3.1 sigmoid实验

3.2 tanh实验

3.3 softsign实验

4.研究梯度和它们的传播

4.1 cost function的效果

4.2 初始化时的梯度

4.2.1 一种新的归一化初始化理论思考

我们在每一层的inputs biases上研究了BP梯度,或者梯度的cost function。Bradley (2009)发现BP的梯度会随着output layer向input layer方法传递时会更小,在初始化之后。他研究了在每层使用线性激活函数的网络,发现BP梯度的variance会随着我们在网络上进行backwards而减小。我们也通过研究线性状态开始。

对于使用在0处有单位导数(比如:)的对称激活函数(symmetric activation function)f的一个dense的人工神经网络(artificial neural network),如果我们将layer i的activation vector写为,layer i上激活函数的参数向量(argument vector)写为,我们有:。从这些定义中我们可以获得如下:

…(2)

…(3)

方差(variances)各种对应input、output、权重进行随机初始化。考虑到这样的假设:我们在初始化时会在线性状态(linear regime),权重会独立初始化,输入特征方差相同(=Var[x])。接着,我们可以说,是layer i的size,x为input:

…(4)

…(5)

我们将在layer i’上的所有权重的共享标量方差写为。接着对于 d layers的一个网络:

…(6) …(7)

从一个前向传播的角度看,我们可以像以下方式来保持信息流:

…(8)

从一个后向传播的角色,相似的,有:

…(9)

这两个条件(conditions)转换为:

…(10)

…(11)

作为这两个限制条件间的折中,我们希望有:

…(12)

当所有layers具有相同的宽度时,需要注意:如何同时满足这两个限制(constraints)。如果我们为权重(weights)具有相同的初始化,我们可以得到以下有意思的特性:

…(13)

…(14)

我们可以看到,在权重上梯度的方便对于所有layers是相同的,但BP梯度的方差可能仍会随着更深的网络而消失(vanish)或爆炸(explode)。

我们使用等式(1)的标准初始化,它会产生如下特性的方差:

…(15)

其中,n是layer size(假设所有layers都具有相同的size)。这会造成BP梯度的方差依赖于该layer(并递减)。

当初始化深度网络时,由于通过多层的乘法效应(multiplicative effect),归一化因子(normalization factor)可能非常重要,我们建议,以下的初始化过程可以近似满足我们的目标:保持激活函数的方差(activation variances)和BP梯度方差会随着网络上下移动。我们称之为归一化初始化(normalized initialzation):

…(16)

4.2.2 梯度传播研究

为了经验上验证以上的理论思想,我们绘制了一些关于activation values、weight gradients的归一化直方图,在初始化处的BP梯度,使用两种不同的初始化方法。shapeset-3x2的实验结果如图所示(图6,7,8),其它数据集也可以获得相似的结果。

我们会监控与layer i相关的Jacobian矩阵的奇异值:

…(17)

当连续层(consecutive layers)具有相同的维度时,对应于极小量平均比例(average ratio of infinitesimal volumes)的平均奇异值从映射到,而平均激活方差的ratio也会从映射到。有了我们的归一化初始化,该ratio会在0.8周围; 而使用标准初始化,它会降到0.5.

图6

4.3 学习期间的梯度BP

在这样的网络中,学习的动态性是很复杂的,我们想开发更好的工具来分析和跟踪它。特别的,我们在我们的理论分析中不能使用简单的方差计算;因为权重值不再独立于activation values,也会违反线性假设。

正如Bradley(2009)年首次提到的,我们观察到(如图7所示),在训练的开始处,在标准初始化(等式1)后,BP梯度的方差会随着传播的下降而变更小。然而,我们发现,该趋势在学习期间逆转的非常快。使用我们的归一化初始化,我们不会看到这样的减小的BP梯度(如图7底部所示)。

令人吃惊的是,当BP gradients变得更小时,跨layers的weights gradients仍是常数,如图8所示。然而,这可以通过我们上述的理论分析(等式14)进行解释。如图9所示,令人感兴趣的是,关于标准初始化和归一化初始化的权重梯度上的这些观察会在训练期间变化(这里是一个tanh网络)。实际上,梯度初始时粗略具有相同的幅度,随着训练的进度会各自不同(越低层具有更大的梯度),特别是当使用标准初始化时。注意,这可能是归一化初始化的一个优点,因为它在不同的layers上具有非常不同幅值的梯度,可以产生病态性(ill-conditioning),以及更慢的训练。

最终,我们观察到,使用归一化初始化的softsign网络与tanh网络共享相似,我们可以对比两者的activations的演进看到(图3底部和图10)。

5.error曲线和结论

我们关心的最终考虑点是,使用不同策略的训练的成功,这可以使用error curves来展示,它可以展示test error随着训练的过程和渐近而演进。图11展示了在shapeset-3x2上在线学习训练的曲线,其中表1给出了对所有数据集的最终的test error。作为baseline,我们在10w个shapeset样本上使用优化的RBF SVM模型,并获得了59.47%的test error,而在相同的集合上,使用一个深度为5的tanh网络、并使用归一化初始化可以获得50.47%的test error。

结果表明,activation和intialization的选择的效果。作为参考,我们在图11中。

参考

Faster R-CNN由Ross Girshick等人提出。

总览

在目标检测领域的最新进展来源于候选区域法(region proposal methods)基于区域的卷积神经网络(region-based convolutional neural networks)的成功。尽管region-based CNN开销很大,但如果通过跨候选块(proposals)共享卷积,可以极大地减小开销。当忽略掉在候选区域(region proposals)上花费的时间时,Fast R-CNN通过使用极深网络已经达到了接近实时的准确率。现在,在主流的检测系统中,在测试时间上都存在着proposals的计算瓶劲。

候选区域法(Region proposal methods)通常依赖于开销低的特征以及比较经济的inference模式(schemes)。选择性搜索法(Selective Search)是其中一种最流行的方法之一,它会基于已经开发的底层特征(low-level features),对超像素 (superpixels)进行贪婪式合并。当与其它有效的检测网络[paper 2]进行对比时,Selective Search方法会更慢些,在CPU的实现上每张图片需要2秒耗时。EdgeBoxes[6]方法提供了在proposal上的质量和速率上的最佳权衡,每张图片0.2秒。尽管如此,候选区域(region proposal)阶段步骤仍然会像该检测网络一样消耗相当多的运行时(running time)。

有人注意到,fast RCNN(fast region-based CNN)可以利用GPU,而在研究中使用的候选区域法(region proposal methods)则通常在CPU上实现,使得这样的运行时比较变得不公平。很明显,一种用于加速proposal计算的方法就是:在GPU上重新实现。这是一个有效的工程解决方案,但重新实现会忽略下游的检测网络(down-stream detection network),从而失去共享计算的机会。

本paper中展示了一种新方法:使用DNN来计算候选(proposals),来产生一个优雅并有效的解决方案,在给定检测网络的计算下,其中proposal计算的几乎没有开销。我们引入了新的Region Proposal Networks(RPNs)来在最新的目标检测网络[1][2]中共享卷积层。通过在测试时(test-time)共享卷积,计算proposals的边缘开销很小(例如:每张图片10ms)。

我们观察到,由region-based dectectors(例如:Fast R-CNN)所使用的卷积特征图,也可以被用于生成候选区域(region proposals)。在这些卷积特征(convolutional features)之上,我们通过添加一些额外的卷积层(conv layers)构建了一个RPN,这些layers可以对一个常规网格(regular grid)上的每个位置,同时对区域边界(region bounds)进行回归(regression)、以及生成目标得分(objectness scores)。RPN是这样一种完全卷积网络(FCN: fully convolutional network)[7],它可以以end-to-end方式训练,特别适用于生成检测候选(detection proposals)。

图1: 多种scales和sizes下的不同模式(schemes)。(a) 构建图片和feature maps的金字塔,在所有scales上运行分类器 (b) 使用多个scales/sizes的filters,在feature map上运行 (c) 使用在回归函数中参照框(reference box)金字塔

RPN被设计成使用一个较广范围的比例(scales)和高宽比(aspect ratios)来高效地预测region proposals。对比于上面使用图片金字塔(图1,a)的方法或者过滤器金字塔(图1,b),我们引入了新的锚点边框“anchor” boxes,在多个不同尺度和高宽比的情况下充当参照(references)。我们的scheme可以被看成是一个对参照(references)进行回归的金字塔(图1,c),它可以避免枚举多个不同尺度和高宽比的图片或filters。当使用单尺度图片进行训练和测试时,该模型执行很好,并且能提升运行速度。

为了将RPN和Fast R-CNN目标检测网络进行统一,我们提出了一个training scheme,它可以轮流为region proposal任务和目标检测任务进行fine-tuning,并保持proposals固定。该scheme可以快速收敛,并生成一个使用卷积特征(可在任务间共享)的统一网络。

我们在PASCAL VOC benchmarks上进行综合评估,其中使用Fast R-CNN的RPNs准确率比使用Fast R-CNN的Selective Search(baseline)要好。同时,我们的方法没有Selective Search在测试时的计算开销——可以在10ms内有效运行proposals。使用昂贵的极深网络,我们的检测方法在GPU上仍然有5fps(包含所有steps)的帧率,这是一个在速率和准确率上实际可行的目标检测系统。我们也在MS COCO数据集上做了测试,并研究了在PASCAL VOC数据集上使用COCO数据进行提升。代码在:matlab codepython code

该paper的预览版在此前有发布。在此之后,RPN和Faster R-CNN的框架已经被其它方法实现并实现,比如:3D目标检测[13], part-based detection[14], instance segmentation[15],image captioning[16]。我们的快速有效目标检测系统已经在比如Pinterests等商业系统中使用。

在ILSVRC和COCO 2015比赛中,Faster R-CNN和RPN是在ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation等众多领域第1名方法的基础。RPNs可以从数据中学到propose regions,这可以从更深和更昂贵特征中受益(比如101-layer residual nets)。Faster R-CNN和RPN也可以被许多其它参赛者使用。这些结果表明我们的方法不仅是一个有效的解决方案,也是一种有效方法来提升目标检索的准确率。

2.相关工作

候选目标(Object Proposals)法。在object proposal methods中有大量文献。可以在[19],[20],[21]中找到。广泛被使用的object proposal methods中包含了以下方法:

  • 基于grouping super-pixels的方法(Selective Search, CPMC, MCG)
  • 基于滑动窗口的方法(objectness in windows[24], EdgeBoxes [6])。

Object proposal methods被看成是dectectors之外独立的一个模块。

深度网络法:R-CNN法可以训练一个CNN的end-to-end网络来将proposal regions分类成目标类别(object categories)或是背景(background)。R-CNN主要扮演分类器的角色,它不会预测对象的边界(除了通过bounding box regression进行重定义)。它的准确率依赖于region proposal模块的性能。许多papers[25],[9],[26],[27]提出了使用深度网络来预测目标的bounding boxes。在OverFeat方法中[9],会训练一个FC layer来为单个目标的定位任务预测box的坐标。FC-layer接着会转化成一个conv-layer来检测多个特定类别的目标。MultiBox方法[26],[27]会从一个最后一层为FC layer(可以同时预测多个未知类的boxes)的网络中生成region proposals,生成OverFeat方式下的单个box。这些未知类别的boxes可以被用于R-CNN的proposals。对比于我们的fully conv scheme,MultiBox proposal网络可以被用于单个图片的裁减或多个大图片的裁减。

。。。

3.Faster R-CNN

我们的目标检测系统,称为Faster R-CNN,由两个模块组成。第一个模块是深度完全卷积网络,它用于生成候选区域;第二个模块是Fast R-CNN检测器,它会使用这些候选区域。整个系统是一个统一的网络,使用了最近神经网络中的流行术语:attention机制,RPN模块会告诉Fast R-CNN模块去看哪里。在3.1节中,我们介绍了该网络的设计和属性。在3.2节中,我们开发算法来训练两个模块,并共享特征。

3.1 RPN

一个RPN会将一张图片(任意size)作为输入,输出一个矩形候选目标集合,每一个都有一个目标得分(objetness score)。我们使用一个完全卷积网络(fully conv network)将该过程建模,会在该部分描述。由于我们的最终目标是使用一个Fast R-CNN网络来共享计算,我们假设两个网络共享一个公共的卷积层(conv layers)集合。在我们的实验中,我们研究了ZF model[5]:它有5个共享的conv layers;以及VGG16 [3] :它有13个共享的conv layers。

为了生成候选区域(region proposals),我们在由最后一个共享conv layer所输出的conv feature map上滑动一个小网络。该小网络会将一个在input conv feature map上的n x n的空间窗口作为输入。每个滑动窗口被映射到一个更低维的feature(ZF:256-d, VGG: 512-d)上。该feature会被fed进两个相邻的FC-Layer上——一个box-regression layer(reg),另一个是box-classification layer (cls)。在本paper中,我们使用n=3, 注意在输入图片上的有效接受域(effective receptive field)非常大(ZF: 171 pixels, VGG: 228 pixels)。该mini-network如图3(左)所示。注意,由于mini-network以滑动窗口的方式操作,FC-Layers会跨所有空间位置被共享。该结果很自然地使用一个n x n的conv layer进行实现,接着两个同级的1x1 conv layers(reg和cls)

3.1.1 Anchors

在每个滑动窗口位置上,我们同时预测多个候选区域(region proposals),其中每个位置的最大可能候选数量被表示成k。因而reg layer具有4k的输出,它可以编码k个boxes的坐标;cls layer输出2k个得分,它用来估计每个proposal是object还是非object的概率。k个候选(proposals)被相对参数化到k个参考框(reference boxes),我们称之为锚点(anchors)。一个anchor位于当前的滑动窗口的中心,与一个scale和aspect ratio(图3, 左)相关联。缺省的,我们使用3个scales和3个aspect ratios,在每个滑动位置上产生k=9个anchors。对于一个size=W x H(通常~2400)卷积特征图(conv feature map),总共就会有WHk个anchors。

平移不变的Anchors

我们的方法的一个重要属性是:平移不变性(translation invariant), 对于该anchors、以及用于计算相对于该anchors的proposals的该functions都适用。如果在一个图片中移动一个object,该proposal也会平移,相同的函数应能预测在该位置的proposal。这种平移不变特征由方法5所保证。作为比较,MultiBox方法[27]使用k-means来生成800个anchors,它并没有平移不变性。因而,MultiBox不会保证:如果一个object发生平移仍会生成相同的proposal。

平移不变性也会减小模型的size。MultiBox具有一个(4+1) x 800维的FC output layer,其中我们的方法具有一个(4+2) x 9维的conv output layer,anchors数为k=9个。结果是,我们的output layer具有个参数(VGG-16: ),比MultiBox的output layer的参数()要少两阶。如果考虑上特征投影层(feature projection layers),我们的proposal layers仍比MultiBox的参数少一阶。我们希望我们的方法在小数据集上(比如:PASCAL VOC)更不容易overfit。

图3:

Multi-Scal anchors as Regression References

关于anchors的设计,提供了一种新的scheme来发表多个scales(以及aspect ratios)。如图1所示,具有两个流行的方法来进行multi-scale预测。第一种方法基于image/feature 金字塔,比如:DPM和基于CNN的方法。这些图片以多种scales进行resize,在每个scale上计算feature maps(HOG或deep conv features)(如图1(a)所示)。该方法通常很有用,但耗时严重。第二种方法是在feature maps上使用多个scales(或aspect ratios)的滑动窗口。例如,在DPM中,不同aspect ratios的模型使用不同的filter sizes(比如:5x7和7x5)进行单独训练。如果该方法用于解决multi scales,它可以被认为是一个“过滤器金字塔(pyramid of filters)”(如图1(b)所示)。第二种方法通常与第一种方法联合被采纳。

作为比较,我们的基于anchor的方法构建了一个关于anchors的金字塔,它效率更高。我们的方法会进行分类和回归bounding boxes,使用multi scales和aspect ratios的anchor boxes。它只取决于单一尺度的图片和feature maps,以及使用单一size的filters(在feature map上滑动窗口)。我们通过实验展示了该scheme用于解决multiple scales和sizes的效果(表8)。

由于该multi-scale设计基于anchors,我们可以简单地使用在单一尺度的图片上计算得到的conv features,这也可以由Fast R-CNN detector来完成。multi-scale anchors的设计是共享特征的核心关键(无需额外开销来解决scales问题)。

3.1.2 Loss函数

为了训练RPN,我们为每个anchor分配一个二元分类label(是object、不是object)。我们分配一个正向label给两种类型的anchors:

  • (i) 具有与一个ground truth box的IoU(Intersection-over-Union)重合率最高的anchor/anchors
  • (ii) 具有一个与任意ground-truth box的IoU重合度高于0.7的anchor

注意,单个ground-truth box可以分配一个正向label给多个anchors。通常第二个条件足够决定正样本;但我们仍采用了第一个条件,原因是有些罕见的case在第二个条件下会找不到正样本。

假如它的相对所有ground-truth boxes的IoU ratio低于0.3, 我们分配一个负向label给一个非正anchor. 即非正,也非负的anchors对训练目标贡献不大。

有了上述定义,我们根据在Fast R-CNN中的多任务loss来最小化目标函数。一张图片的loss function如下所示:

…(1)

这里,

  • i表示在mini-batch中的一个anchor的索引
  • 表示anchor i是object的预测概率。
  • 如果该anchor为正,ground-truth label 是1;否则为0.
  • 是一个向量,表示要预测的bounding box的4个参数化坐标
  • 是与一个正锚点(positive anchor)相关的ground-truth box。
  • 是分类loss,它是关于两个类别的log loss。
  • 是回归loss,其中R是robust loss function(L1平滑)。
  • 意味着regression loss当为正锚点时()激活,否则禁止(

两个项(term)通过被归一化,通过一个参数进行加权。在我们当前实现中(释出的代码),等式(1)中的cls项通过mini-batch size进行归一化(例如:),reg项通过anchor位置的数目进行归一化(例如:)。缺省的,我们设置,接着cls和reg两项会被加权。通过实验我们发现,结果对于的值在一个宽范围内是敏感的(见表9)。我们也注意到,归一化(normalization)不是必需的,可以简化。

表9

对于bounding box回归,我们采用了以下的4坐标的参数化:

…(2)

其中,x, y, w和h表示box的中心坐标、宽、高。变量x, ,以及分别是预测box,anchor box,ground-truth box(y,w,h也类似)。这可以被认为是从一个anchor box到一个接近的ground-truth box的bounding-box regression。

然而,我们的方法与之前的基于RoI(Region of Interest)的方法不同,通过一种不同的方式达成bounding-box regression。bounding-box regression在由特定size的RoI上的features来执行,该regression weights被所有region sizes共享。在我们的公式中,用于回归的该features在feature maps上的空间size上(3x3)相同。为了应付不同的size,会学到k个bounding-box regressors集合。每个regressor负责一个scale和一个aspect ratio,k个regressors不会共享权重。由于anchors的这种设计,仍然能预测不同size的boxes,即使features是一个固定的size/scale。

3.1.3 训练RPNs

RPN可以通过BP和SGD以end-to-end的方式进行训练。我们根据”以图片为中心(image-centric)”的抽样策略来训练网络。从单个图片中提取的每个mini-batch,包含了许多正负样本锚点。它可以为所有anchors的loss functions进行优化,但会偏向主导地位的负样本。作为替代,我们在一个图片上随机抽取256个锚点,来计算一个mini-batch的loss函数,其中抽样到的正负锚点的比例为1:1。如果在一个图片中正样本数少于128个,我们将将该mini-batch以负样本进行补齐。

我们通过从一个零均值、标准差为0.01的高斯分布中抽取权重,来随机初始化所有new layers。所有其它layers(比如:共享的conv layers)通过ImageNet分类得到的预训练模型进行初始化。接着调整ZF net的所有layers,conv3_1以及来保存内存。我们在PASCAL VOC数据集上,对于mini-batches=60k使用使用learning rate=0.001,对于mini-batch=20k使用learning rate=0.0001. 我们使用一个momentum=0.9, weight decay=0.0005, 代码用Caffe实现。

3.2 为RPN和Rast R-CNN共享特征

我们已经描述了如何去训练一个网络来进行region proposal的生成,无需考虑基于region的目标检测CNN会使用这些proposals。对于检测网络,我们采用Fast R-CNN。接着,我们描述的算法会学到一个统一的网络,它由RPN和Fast R-CNN组成,它们会共享conv layers(如图2)。

图2

如果RPN和Fast R-CNN独立训练,会以不同的方式修改它们的conv layers。因此需要开发一个技术来允许在两个网络间共享conv layers,而非学习两个独立的网络。我们讨论了三种方式来训练特征共享的网络:

  • (i) 交替训练(Alternating training)。在这种方案中,我们首先训练RPN,接着使用这些proposals来训练Fast R-CNN。 该网络会通过Fast R-CNN进行调参,接着被用于初始化RPN,然后反复迭代该过程。这种方案被用于该paper中的所有实验。
  • (ii) 近似联合训练(Approximate joint training)。在这种方案中,RPN和Fast R-CNN网络在训练期间被合并到一个网络中,如图2所示。在每个SGD迭代过程中,forward pass会生成region proposals(当训练一个Fast R-CNN detector时,他们被看成是固定的、预计算好的proposals)。backward propagation会和往常一样进行,其中对于共享的layers来说,来自RPN loss的Fast R-CNN loss的后向传播信号是组合在一起的。该方案很容易实现。但该方案会忽略到关于proposal boxes坐标的导数(derivative w.r.t. the proposal boxes’ coordinates), 也就是网络响应,因而是近似的。在我们的实验中,我们期望发现该求解会产生闭式结果,并减少大约25-50%的训练时间(对比alternating training)。该求解在python代码中包含。
  • (iii) 非近似联合训练(Non-approximate joint training)。根据上述讨论,由RPN预测的bounding boxes也是输入函数。在Fast R-CNN中的RoI pooling layer会接受conv features,以及预测的bounding boxes作为输入,因而一个理论合理的BP解也与box坐标的梯度有关。这些梯度在上面的approximate joint training会被忽略。在非近似方法中,我们需要一个RoI pooling layer,它是box坐标的微分。这是一个非平凡问题,解可以通过一个”RoI warping” layer给出[15]。(超出本paper讨论范围)

4-step Alternating Training

在该paper中,采用了一个实用的4-step training算法来通过alternating优化来学习共享特征。在第一个step中,会如3.1.3节描述来训练RPN。该网络使用一个ImageNet-pre-trained模型来初始化,为region proposal任务来进行end-to-end的fine-tuning。在第二个step中,我们训练了一个独立的Fast R-CNN dectection网络,它会使用由第一步的RPN生成的proposals。该检测网络也使用ImageNet-pre-trained模型初始化。在此时,这两个网络不共享conv layers。在第三个step中,我们使用detector网络来初始化RPN training,但我们会固定共享的conv layers的能数,只对对于RPN唯一的layers进行fine-tune。最后,保持共享的conv layer固定,对Fast R-CNN的唯一layers进行fine-tune。这样,两个网络会共享conv layers,并形成一个统一网络。相类似的alternating training会运行很多次迭代,直到观察到不再有提升。

3.3 实现细节

我们在单一scale的图片上,训练和测试两个region proposal以及目标检测网络。我们re-scale这些图片,以至它们更短的边: s=600 pixels。Multi-scale特征抽取(使用一个图片金字塔image pyramid)可以提升accuracy,但不会有好的speed-accuracy的平衡。在re-scale的图片上,对于ZF和VGG nets来说,在最后一层conv layer上的总stride为16 pixels,在一个典型的PASCAL image上在resizing(~500x375)之前接近10 pixels。尽管这样大的stride会提供好的结果,但accuracy会使用一个更小的stride进行进一步提升。

对于anchors,我们使用3个scales,box areas分别为:个pixels,3个aspect ratios分别为:1:1, 1:2, 2:1. 对于一个特定数据集,这些超参数并不是精心选择的,我们提供了消融实验。我们的解不需要一个图片金字塔或是过滤器金字塔来预测多个scales的regions,节约运行时间。图3(右)展示了在一个关于scales和sapect ratios范围内我们方法的能力。表1展示了对于每个anchor使用ZF net学到的平均proposal size。我们注意到,我们的算法允许预测比底层的receptive field更大。这样的预测是不可能的——如果一个object只有中间部分可见,仍能infer出一个object的其它部分。

该anchor boxes会交叉图片的边界,需要小心处理。在训练期间,我们忽略了所有交叉边界anchors(cross-boundary anchors),因而他们不会对loss有贡献。对于一个典型的1000x600的图片,共有20000 (~60x40x9)个anchors。由于忽略的cross-boundary anchors的存在,训练期每个图片有大约6000个anchors。如果boundary-crossing outliers在训练期被忽略,他们会引入大的、难的来纠正在目标函数中错误项,训练不会收敛。在测试期,我们仍应用完全卷积的RPN到整个图片上。这也会生成cross-boundary的proposal boxes,我们会将image boundary进行裁减。

表2

一些RPN proposals高度相互重叠。为了减小冗余,我们在proposal regions上基于它们的cls分值采用了NMS(non-maxinum suppression)。我们为NMS将IoU阀值固定为0.7,可以为每张图片留下2000个proposal regions。NMS不会对最终的检测accuracy有害,实际上会减小proposals的数目。在NMS后,我们使用top-N排序后的proposal regions进行detection。然后,我们使用2000个RPN proposals训练Fast R-CNN,但在测试时评估不同数目的proposals。

4.实验

4.1 PASCAL VOC

在PASCAL VOC 2007 detection benchmark上进行评估。该数据集包含了5k个trainval images,以及5k个test images,object类别超过20个。我们也提供了PASCAL VOC 2012 benchmark。对于ImageNet pre-trained network,我们使用ZF net的”fast”版本:它具有5个conv layers以及3个FC layers,以及公开的VGG-16 model:它具有13个conv layers以及3个FC layers。我们使用mAP( mean Average Precision)进行评估detection,因为实际的目标验测的metric(而非关注目标的proposal proxy metrics)。

表2展示了使用不同region proposal methords的训练和测试结果。对于Selective Search(SS)[4]方法,我们通过”fast”模式生成了大约2000个proposals。对于EdgeBoxes(EB)[6]方法,我们通过缺省的EB setting将IoU设置为0.7来生成proposals。在Fast R-CNN框架下,SS的mAP具有58.7%,而EB的mAP具有58.6%。RPN和Fast R-CNN达到的完整结果为,mAP具有59.9%,仅使用300个proposals。使用RPN会比SS或EB生成一个更快的检测系统,因为共享卷积计算;更少的proposals也会减小region-wise FC layers的开销(表5)。

RPN上的Ablation实验。为了研究RPN作为proposal method的行为,我们做了一些ablation研究。首先,我们展示了在RPN和Fast R-CNN检测网络间共享卷积层(conv layers)的效果。为了达到这个,我们在第二个step后停止训练过程。使用独立的网络将结果减小到58.7%(RPN+ZF,unshared, 表2)。我们观察到这是因为在第三个step中,当detector-tuned features被用于fine-tune该RPN时,proposal质量会被提升。

接着,我们放开RPN对Fast R-CNN训练的影响。出于该目的,我们训练了一个Fast R-CNN模型,使用2000个SS proposals和ZF net。我们固定该detector,通过更改在测试时的proposal regions,来评估该detection的mAP。在这些ablation实验中,RPN不会与detector共享features。

在测试时,将SS替换成300 RPN proposals会产生mAP=56.8%。在mAP中的该loss是由于在training/testing proposals间的不一致性造成的。该结果会当成baseline。

评测

略,详见paper。

参考