用戶-商品交互的時(shí)間順序可以揭示出推薦系統(tǒng)中用戶行為隨時(shí)間演進(jìn)的序列性特征。用戶與之交互的商品可能受到用戶曾經(jīng)接觸的商品的影響。但是，用戶和商品數(shù)量的大量增加，使得序列推薦系統(tǒng)仍然面臨很多重要問題：（1）對短時(shí)用戶興趣建模的困難；（2）捕捉用戶長期興趣的困難；（3）對商品共現(xiàn)模式的建模效率較低。為了應(yīng)對這些挑戰(zhàn)，本文提出了一個(gè)記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)（memory augmented graph neural network, MA-GNN），以捕捉用戶的長期和短期興趣。

特別地，本文使用圖神經(jīng)網(wǎng)絡(luò)對短期的商品語境信息建模，并使用共享的記憶網(wǎng)絡(luò)來捕捉商品之間的長期依賴。另外，本文使用雙線性函數(shù)以捕捉相關(guān)商品的共現(xiàn)模式。在模型評估上，本文在五個(gè)真實(shí)場景的數(shù)據(jù)集上進(jìn)行了評測，并使用一系列評估指標(biāo)和多個(gè)當(dāng)前效果最優(yōu)的模型進(jìn)行了對比。試驗(yàn)結(jié)果顯示，本文模型在Top-K序列推薦中效果極佳。

介紹

隨著網(wǎng)絡(luò)服務(wù)和移動(dòng)設(shè)備的快速增加，個(gè)性化推薦系統(tǒng)在現(xiàn)代社會(huì)中正扮演著越來越重要的角色。個(gè)性化推薦系統(tǒng)能夠降低信息負(fù)載、滿足多種服務(wù)需求，并至少在以下兩方面起到極大助力：（i）幫助用戶發(fā)現(xiàn)上百萬候選產(chǎn)品中的合適商品；（ii）為產(chǎn)品提供商創(chuàng)造增長營業(yè)額的機(jī)會(huì)。

在網(wǎng)絡(luò)中，用戶以線性順序訪問商品。用戶在未來查看的商品可能收到歷史瀏覽記錄的影響，這創(chuàng)造了一個(gè)具有操作性的應(yīng)用場景——序列推薦。在序列推薦任務(wù)中，除了和通用推薦系統(tǒng)一樣需要捕捉用戶的整體興趣之外，我們認(rèn)為還有另外三個(gè)重要因素需要考慮：用戶短期興趣，用戶長期興趣，商品共現(xiàn)模式。用戶短期興趣描述了用戶在短期內(nèi)訪問商品的偏好。用戶長期興趣捕捉用戶之前訪問的和未來將訪問的商品之間的長期以來。商品共現(xiàn)模式則對相關(guān)商品的共現(xiàn)規(guī)律進(jìn)行闡釋。

盡管目前已有很多序列推薦模型，但我們認(rèn)為已有模型尚不能完整捕捉前文提到的三個(gè)因素。首先，Caser, MARank, Fossil等人僅對用戶短期興趣進(jìn)行了建模，忽略了商品的長期依賴關(guān)系。第二， SARSRec等類似模型沒有對用戶短期興趣進(jìn)行有效的建模，使得模型難以理解用戶在短期內(nèi)的興趣變化。第三，GC-SAN，GRU4Rec++等類似模型未能明確捕捉商品序列中的商品共現(xiàn)規(guī)律。由于相關(guān)商品經(jīng)常共同出現(xiàn)，推薦模型應(yīng)當(dāng)對此因素加以考量。

為將上述三個(gè)因素加入序列推薦模型，本文提出了一個(gè)記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)（MA-GNN）。該模型包括一個(gè)整體興趣模塊，一個(gè)短期興趣模塊，一個(gè)長期興趣模塊，以及一個(gè)商品共現(xiàn)模塊。在整體興趣模塊中，我們使用矩陣分解對用戶整體興趣建模，該模塊不包含商品對序列變化信息。在短時(shí)興趣模塊中，我們使用一個(gè)GNN結(jié)構(gòu)加入商品的鄰接關(guān)系信息，以構(gòu)成用戶的短期興趣。

這一結(jié)構(gòu)能夠捕捉較短時(shí)期的情境信息和結(jié)構(gòu)。為了對用戶的長期興趣建模，我用使用一個(gè)鍵值記憶網(wǎng)絡(luò)（key-value memory network）以基于用戶的長期商品序列形成對用戶興趣的表征。通過該方法，在推薦一個(gè)商品時(shí)，其他具有相似偏好的用戶也會(huì)成為影響因素。為了綜合用戶的長期和短期興趣，我們在GNN框架中引入了門機(jī)制，和LSTM網(wǎng)絡(luò)中的門機(jī)制類似。這一機(jī)制對長時(shí)和短時(shí)興趣在模型中的貢獻(xiàn)度進(jìn)行控制。在商品共現(xiàn)模塊中，我們使用了一個(gè)雙線性函數(shù)以捕捉商品序列中高度相關(guān)的商品。我們在五個(gè)真實(shí)世界的數(shù)據(jù)集上對模型進(jìn)行了評估，并使用一系列評估指標(biāo)，和多個(gè)當(dāng)前最先進(jìn)的模型進(jìn)行了對比。試驗(yàn)結(jié)果顯示了本文模型相較于其他模型在推薦效果上的提升，并展示了上述模塊的有效性。

總體而言，本文的主要共現(xiàn)為：

為了對用戶短期和長期興趣建模，提出一個(gè)記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)，以捕捉短期情境信息和長期依賴；

為了高校融合短期和長期興趣信息，提出了GNN框架中的門機(jī)制；

為對商品共現(xiàn)模式進(jìn)行建模，使用雙線性函數(shù)來捕捉商品之間的特征關(guān)聯(lián)；

在五個(gè)真實(shí)世界數(shù)據(jù)集上進(jìn)行評估試驗(yàn)，結(jié)果顯示MA-GNN的效果顯著由于已有的序列推薦模型。

相關(guān)工作

整體推薦

早期的推薦模型主要研究顯性反饋，近期研究則逐漸轉(zhuǎn)向隱性數(shù)據(jù)。使用隱性反饋的協(xié)同過濾（collaborative filtering, CF）往往被認(rèn)為是一個(gè)Top-K推薦認(rèn)為，該任務(wù)的目標(biāo)即為用戶推薦一個(gè)可能感興趣的商品列表。這一任務(wù)更具有實(shí)際性和挑戰(zhàn)性，且更適合真實(shí)世界的推薦場景。早期的相關(guān)工作主要使用矩陣分解技術(shù)學(xué)習(xí)用戶和商品的隱性特征，基于神經(jīng)網(wǎng)絡(luò)的方法也經(jīng)常被采用。

序列推薦

序列推薦模型將商品序列作為輸入信息。一個(gè)經(jīng)典方法是使用馬爾可夫鏈對數(shù)據(jù)建模。FPMC, TransREC都屬于此類方法。近期，受自然語言處理中序列學(xué)習(xí)的啟發(fā)，學(xué)者們提出了基于（深度）神經(jīng)網(wǎng)絡(luò)的方法，包括基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）、基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等。注意力機(jī)制、記憶網(wǎng)絡(luò)也在序列推薦模型中得到應(yīng)用。

本文和已有模型的不同之處在于，模型使用記憶增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)以捕捉長期和短期興趣。另外，本文加入了一個(gè)商品共現(xiàn)模塊，以對高度相關(guān)的商品建模。

問題定義

本文考量的推薦任務(wù)將序列的隱性反饋?zhàn)鳛橛?xùn)練數(shù)據(jù)。用戶興趣通過一個(gè)用戶-商品的線性序列進(jìn)行表征，公式如下：