【O2OTM】你的搜索透露了你的喜好——跨模态推荐

@(关键词)[跨模态,推荐系统,O2OTM,可解释性,机器学习]

Alt text

论文地址:http://mldm.ict.ac.cn/platform/pweb/academicDetail.htm?id=94

论文翻译:http://blog.csdn.net/okcd00/article/details/51814745

导言 || 在买买买的时候,有时会惊喜地在购物的过程中发现一个适合自己的小圈子:大家都有着相近的品味、类似的需求,甚至还可以帮你发掘出你意料不到的小众喜好,但这种小圈子可遇不可求该如何才能找到呢?机器学习在这方面能帮上忙吗?对于商家来说,为了提升顾客的满意度和回头率,除了店内的销售记录以外,同时把线上的信息考虑进去的话,会不会起到意想不到的效果呢?如果可行,那是否意味着:你在搜索框里敲下的文字,隐含着你个人的喜好?

作者 || 陈点 (201618013229031) \ 许佳丽 (201628013229041)

Abstract

如今在家穿着睡衣就能安逸地在线购物,为了与之相抗衡,线下商场的经营者们越来越关注于确认顾客的偏好,来提升顾客的满意度和回头率。但是,当今这方面的研究大多数都只是建立在线下消费的历史记录之上。

Figure 1|center

我们也可以得益于互联网来获得顾客的在线行为,像是搜索记录、网页浏览记录或是在线购物记录,如上图中,购买青少年服饰品牌 EVISU 的客户进行了游戏、动漫类型的搜索。是否会存在某种可能,这些从不同的方式(即在线和离线)中看似毫不相干的信息,是存在某种相互关联的?倘若存在关联的话,我们要怎样才能利用在线的行为和离线的行动,组合起来以找到可以促进线下零售的方法呢?

在本次研究中,我们将这项任务构想为一个跨模态的推荐问题,并且通过制定一个概率图模型来展示其解决方案,这个模型称之为 O2OTM,即 Online to Offline Topic Model

具体而言,这种方法明确地在线上线下的主题间建模,使在线和离线行为两者的似然性最大化。并且,作出的推荐仅基于在线与离线主题而定,记作 $(t, l)$ ,如果一个在线主题 $t$ ,与不包含此主题的平均响应数量相比,可以大大提高其相对应的离线主题 $l$ 的响应,我们认作其具有较高的 $lift$ 值。

此外,我们同时通过线上实测与回归实验对解决方案进行评估。这个模型实测部署于某个著名的购物商场在北京的周年纪念宣传活动中,与基准线相比,平均每条信息带来的购买行为数量上,我们的方案带来了 29.75% 的提升。此外,我们的模型还在线上搜索主题与线下品牌主题间,发现了一些有趣而具有解释性的联系。

O2OTM

Probabilistic Graphical Model

该篇文章通过制定一个**概率图模型(probabilistic graphical model)**来展示其解决方案,那么,什么是概率图模型,该如何看懂一个概率图模型呢?

概率图模型是图灵奖获得者 $Pearl$ 开发出用图来表示变量概率依赖关系的理论。
在概率论、统计学及机器学习中,概率图模型是用图论方法以表现数个独立随机变量之关系的一种建模法。其图中的任一节点为随机变量,若两节点间无边相接则意味此二变量彼此条件独立。

$$p(x_1,x_2,…,x_n)=p(x_1)\cdot p(x_2|x_1)…p(x_n|x_{n-1})$$
@如上图所示,则代表一个马尔可夫链|center

  • 贝叶斯网络采用有向无环图(Directed Acyclic Graph)来表达因果关系
  • 贝叶斯网络中每一个节点都对应于一个先验概率分布或者条件概率分布,因此整体的联合分布可以直接分解为所有单个节点所对应的分布的乘积

Model explanation

Figure 2|center
在 $O2OTM$ 模型中,每个用户 $u$ 采取如下的概率过程来生成在线与离线行为,表示为 $(W_u, B_u)$ ,这个过程可以分为两个部分(其中每个部分参照主题模型(Topic Model)思想)

  • 第一步,对于每个搜索词 $w \in W_u$ ,从在线话题特征 $u$ 的分布(表示为 $\theta_u$ ) )中选出一个在线话题 $x$ ,然后从这个选定的在线话题中生成单词。
  • 第二步,对于每个品牌 $b \in B_u$ ,再次从 $\theta_u$ 中选择一个在线话题 $y$。
  • 在 $y$ 的基础上,从离线话题特征 $y$ 的分布 $\pi_y$ 中选择一个离线话题 $z$ ,然后从这个选定的离线话题中生成品牌。
  • 这项研究里的跨模态推荐任务中:
    • 在线模态被用作特征空间
    • 离线模态则被认为是预测标签

To Update x,y,z

在研究中,使用了 $Gibbs$ 采样来估计 $O2OTM$ 的参数。通过应用 $Gibbs$ 抽样,作者构建了收敛到对潜在变量后验分布的马尔可夫链。马尔科夫链连续状态间的过渡,归因于借鉴标准狄利克雷积分重复迭代总结出来的其他参数分布得来的 $x, y, z$。
接下来将对过程进行详细解读:

$$p(x_i=t|\vec{x}{\neg i},\vec{y},\vec{z},\vec{w},\vec{b})=p(x_i=t|\vec{x}{\neg i},\vec{y},w_i=v) \
\propto \frac{O_{t,\neg i}^v+\beta_v}{\sum_{v=1}^VO_{t,\neg i}^v+\beta_v} \cdot \frac{O_{u,\neg i}^t+\alpha_t}{\sum_{t=1}^TO_{u,\neg i}^t+\alpha_t} \tag{1}$$

其中 $x_i = t$ 表示语料库中第 $i$ 个词标记在语料库中对应的是第 $t$ 个在线话题,$w_i = v$ 代表第 $i$ 个词标记对应着字词库中的第 $v$ 个,$\vec{x}{\neg i}$ 表示除了第 $i$ 个以外所有的在线话题表示。除此之外,$O{t,\neg i}^v$ 表示第 $v$ 个词在第 $t$ 个在线话题中被观测到出现的次数,不包括当前例。$O_{u,\neg i}^t$ 表示第 $t$ 个在线话题在用户 $u$ (即拥有搜索词 $w_i$ 的)中被观测到出现的次数,不包括当前例。在此,在线话题 $x$ 被分配给语料库中的每个词标记。

$$p(y_j=t|\vec{y}{\neg j},\vec{x},\vec{z},\vec{w},\vec{b})=p(y_j=t|\vec{y}{\neg j},\vec{x},z_j=l) \
\propto \frac{O_{t,\neg j}^l+\eta_l}{\sum_{l=1}^LO_{t,\neg j}^v+\eta_l} \cdot \frac{O_{u,\neg j}^t+\alpha_t}{\sum_{t=1}^TO_{u,\neg j}^t+\alpha_t} \tag{2}$$

类似地,其中 $y_j = t$ 表示第 $t$ 个在线话题中对应的第 $j$ 个品牌标记,$z_j = l$ 代表在第 $j$ 个品牌标记中第 $l$ 个离线话题中被观测到出现的次数,$\vec{y}{\neg j}$ 表示品牌标记中在第 $t$ 个在线话题中被观测到出现的次数,不包括当前例。此外,$O{t,\neg j}^l$ 代表第 $l$ 个线下品牌在第 $t$ 个在线话题中被观测到出现的次数,不包括当前例。$O_{u,\neg j}^t$ 则代表第 $t$ 个在线话题在用户 $u$ (即购买品牌 $b_j$ 的)中被观测到出现的次数,不包括当前例。在此,在线话题 $y$ 被分配给语料库中的每个品牌标记。

$$p(z_j=l|\vec{z}{\neg j},\vec{x},\vec{y},\vec{w},\vec{b})=p(z_j=l|\vec{z}{\neg j},y_j=t,b_j=k) \
\propto \frac{O_{l,\neg j}^k+\lambda_k}{\sum_{k=1}^BO_{l,\neg j}^k+\lambda_k} \cdot \frac{O_{t,\neg j}^l+\eta_l}{\sum_{l=1}^LO_{t,\neg j}^l+\eta_l} \tag{3}$$

其中 $z_j = l$ 表示第 $l$ 个离线话题中对应的第 $j$ 个品牌标记,$b_j = k$ 代表在观测到的第 $j$ 个品牌标记是品牌词库里的第 $k$ 个词,$y_j = t$ 表示观测到的第 $j$ 个品牌标记是在线话题中的第 $t$ 个。 代表除了第 $j$ 个之外所有的离线话题所对应的品牌标记。除此之外,$O_{l,\neg j}^k$ 表现了观测到的在第 $k$ 个品牌上出现第l个离线话题的次数,不包括当前例。$O_{t,\neg j}^l$ 表现了观测到的在第 $l$ 个离线话题上出现第 $t$ 个在线话题的次数。在此,离线话题 $z$ 被分配给语料库的每一个品牌标记。

在马尔科夫链收敛之后,模型变量可以通过以下的式子进行估计

$$\theta_{ut}=\frac{O_u^t+\alpha_t}{\sum_{t=1}^TO_u^t+\alpha_t} \tag{4}$$
$$\phi_{tv}=\frac{O_t^v+\beta_v}{\sum_{v=1}^VO_t^v+\beta_v} \tag{5}$$
$$\pi_{tl}=\frac{O_t^l+\eta_l}{\sum_{l=1}^LO_t^l+\eta_l} \tag{6}$$
$$\varphi_{lk}=\frac{O_l^k+\lambda_k}{\sum_{k=1}^BO_l^k+\lambda_k} \tag{7}$$

在这里,$T,L$ 分别是在线与离线话题的数量。$V,B$ 是词库和品牌库的大小。
在这项研究中,我们不估计超变量 $α, β, η, λ$ 的值,而是直接分别设定平滑参数,固定为 $α=0.05, β=0.01, η=0.01, λ=0.01$ 。该算法开始需要随机为在线主题分配搜索词,并为离线品牌随机分配在线和离线主题。该算法的每次迭代包括为语料库中每个词标记和品牌标记运用算式 $(1),(2),(3)$ 。这种采样过程至少需要执行2000轮直至收敛。

Model Inference

当我们使用学习到的所有变量,就可以推断一个品牌和在线主题间的关系了,对于一个在线话题 $y=t$ 和一个离线品牌 $b=k$,我们有:
$$ p(y=t|b=k)=\sum_{l=1}^Lp(y=t|z=l)p(z=l|b=k)\propto \sum_{l=1}^Lp(y=t)\pi_{tl}\varphi_{lk} $$

Alt text|center
如上图所示,为品牌 $Teenie Weenie$ 相关性最强的三类在线主题

Alt text|center
如上图所示,为品牌 $Teenie Weenie$ 的一份店内海报,可以看出,主打青春学生风的服饰品牌相关的在线主题,确实可以一定程度上反映出“学生”、“占卜”、“妆扮”等特性。

除此之外,我们也可以为用户提供推荐了,第 $i$ 个用户购买第 $k$ 个品牌的概率可以使用如下方法计算:
$$p(b=k|u=i,\theta,\pi,\varphi)\
=\sum_{t=1}^T \sum_{l=1}^Lp(b=k|z=l,\varphi)p(z=l|y=t,\pi)p(y=t|u=i,\theta)\
=\sum_{t=1}^T \sum_{l=1}^L\varphi_{lj}\pi_{tl}\theta_{it}
$$

Lift

在文中,定义了一个参量——提升值。
顾名思义,给定线上话题 $t$ 时线下话题 $l$的概率,通过 $π_{tl} = p(z = l|y = t)$ 分配使得所有数据的似然性最大。
基于 $π$ 我们也可以计算出 $π_{\neg tl} =p(z = l|y = \neg t) $,给定 $t$ 以外其他所有在线话题,度量离线话题 $l$ 的可能性。那么,$lift$ 可以如下定义:
$$lift_{tl}=\frac{p(z=l|y=t)}{p(z=l|y=\neg tl)}=\frac{\pi_{tl}}{\pi_{\neg tl}}$$

实际上就是包含 $t$ 的目标 $l$ 的响应与不包含 $t$ 的目标响应的比值,这个提升值越大,代表在线话题 $t$ 与离线话题 $l$ 之间的关联性越强。

于是,我们就可以运用这个参量来做一些有意思的挖掘:在挖掘中,我们有着令人惊喜的收获:区别于绝大多数类似LDA的推荐算法,这种算法具有珍贵的可解释性,这种可解释性,往往在与商家交流时是最有效的证明手段与促进合作的途径。下面我们来看一看这种可解释性的表现:

Alt text|center
如上图,展示了高lift值的一些例子,作者从数据中选出的一些在线与离线的话题对。这些例子是通过筛选得到的,以便于覆盖不同群体的顾客。

  • 对于第 $I$ 组,搜索词和宠物医疗相关,并且这个在线话题到对应着为年轻女孩设计的时尚品牌具有11.5的提升值。由于这些品牌大多是从日韩紧扣的,他们比起常规的要更加昂贵,表明了这些女孩为了养宠物可以负担得起这些。
  • 对于第 $II$ 组,它对应着喜欢日漫和电脑游戏的年轻人的群体(大多是男孩)他们大多喜欢穿一些休闲品牌,比如VANS,ADIDAS ORIGINAL等等。
  • 对于第 $III$ 组,它对应着孕妇和年轻妈妈们的群体。他们会搜索关于孕期护理、新生儿护理和产后恢复的知识。同时,他们也对应着两种提升度较高的线下话题。第一个品牌群面向新生儿,第二个品牌群面向年轻女孩的一些品牌,这表明新妈妈们依旧不会停止为自己而买买买。

Alt text|center

  • 对于第 $IV$ 组,对应的是拥有幸福生活的家庭主妇群体。在线上,他们搜索有关减肥和热门电视剧、网络小说等材料。在线下,他们买两种类型的品牌。一种是为了她们的孩子,另一种是为了他们的丈夫选择的户外运动装扮的品牌。
  • 对于第 $V$ 组,我们认为是高端化妆品与珠宝品牌的消费者。我们惊讶地发现当他们搜索武侠故事、都市恋爱小说和文学的时候,提升值到达了19。并且搜索整容和手机游戏的人们喜欢去购买这些昂贵的商品。
  • 对于第 $VI$ 组,我们认为这些是寻求股票,基金,证券和投资的人。这些是有着一些闲钱可以用来资产管理的富人们。在这个在线话题中具有最高提升值的离线话题,是和有着各种中国菜品的高档餐厅有关的,这表明美食是这些人的重中之重。

值得一提的是,所有这些对具有高提升值的线上和线下主题对,都是作者所提出的 $O2OTM$ 模型自动发现的。而这些,都是与我们对在线和离线行为的基本认知相一致的。

通过这篇论文的研究,我们了解到可以通过机器学习的推荐,为人们提供一种可解释的建议,在具有实质性提升的同时,还能为我们展现出其内在的理由、发掘出人们在购物中表现出的共性,这为推荐系统更加广泛的投入日常生活,是前进道路上一次伟大的进步。

Referrence

论文来源:
P. Luo, S. Yan, Z. Liu, Z. Shen, S. Yang and Q. He. 《From online behaviors to offline retailing》. In KDD, 2016. http://mldm.ict.ac.cn/platform/pweb/academicDetail.htm?id=94

编者博客地址:
blog.csdn.net/okcd00