hema embedding介绍

Reading time ~1 minute

阿里盒马团队在KDD 2018上开放了它们的方法:《Learning and Transferring IDs Representation in E-commerce》, 这个方法也很简单,我们来看下paper的主要内容部分:

3.4 联合嵌入Attribute IDs

通过探索在item ID和它的attribute IDs间的结构连接,我们提出了一个hirerarchical embedding模型来联合学习item ID和attribute IDs的低维表示。模型结构如图4所示,其中item ID是核心的交互单元,它与attibute IDs间通过虚线连接。

1.png

图4

首先,item IDs的共现也隐含了对应attribute IDs间的共现,它通过图4的实心键头表示。假设存在K个类型的IDs,并使 ,其中等于的item ID,是product ID,是store ID等。我们学习目标替换成:

…(7)

其中,以及是分别对应于类型(type)为k的context和target representations。对于类型k,是它的embedding vectors的维度,是它的字典size。注意,不同类型的IDs可以被嵌入到不同的维度上。标量的权重。假设每个item的贡献与相等,包含了个不同的items,成反比是合理的。更正式的,我们有:

…(8)

…(9)

…(10)

例如,表示每个刚好包含了一个item;而表示:product ID包含了10个不同的items

第二,item ID和attribute IDs间的结构连接意味着限制(constraints),例如:两个item IDs的向量应更接近,不仅是对于它们的共现,而且对于它们共享相同的product ID, store ID, brand ID或cate-level1 ID等。相反的,attribute IDs等价于包含在对应item IDs内的信息。以store ID为例,对于一个指定store ID的embedding vector,它可以看成是应该商店所售卖的所有item IDs的合适的总结(summary)。 相应的,我们定义了:

…(11)

其中,是一个转移矩阵,它会将embedding vector 转称到相同维度的embedding vector 上。接着,我们最大化下面的平均log概率:

…(12)

其中,是介于IDs间的约束强度,是在转移矩阵上的L2正则的强度。

我们的方法可以将item ID和它的attrbute IDs嵌入到一个语义空间中,它很有用。item ID的属性和它的attrbute IDs对于一个相对长的时间来说是稳定的,该jointly embedding model和学到的表示会每周更新一次。

3.5 Embedding User IDs

用户偏好受item IDs交互序列的影响,通过对交互的item IDs的embedding vectors做聚合来表示user IDs是合理的。有许多方法来聚合item embedding vectors,比如:Average, RNN等[26],本paper中使用的是平均方式(Average)。

由于Hema中的用户偏好变化很快,user IDs的embedding vectors也应进行频繁更新(比如:按天更新),来快速响应最新的偏好。不同于RNN模型,它需要训练过程并且计算开销很大,Average可以在很短的时间内学习和更新表示。

对于用户,假设表示交互序列,其中最近的T个item IDs以逆时序的方式排列。我们为用户u构建了embedding vector:

其中,的embedding vector。

3.6 模型学习

对该jointly embedding model进行优化等同于最大化(12)的log似然,它与log-uniform negative-sampling相近。为了解决该最优化问题,我们首先使用“Xavier” initialzation来初始化所有可训练参数。接着使用SGD算法和shuffled mini-batches到J上。参数的更新通过BP+Adam rule来完成。为了加速并行操作,在NVIDIA-GPU+tensorflow上训练。

模型的超参数设置如下:context window C=4; negative samples数 S=2; embedding dimensions为 ;constraints强度;L2 reg强度 ;batch size=128, 训练5个epochs。

#

参考

MIND召回介绍

#tmall在《Multi-Interest Network with Dynamic Routing forRecommendation at Tmall》开放了它们的召回算法。在matching stage上,提出了Multi-Interest Network with...… Continue reading

capsule介绍二

Published on March 26, 2019

TDM介绍2

Published on March 24, 2019