Recommendation World Models for Future-State Control
Abstractの概要
本論文では、訓練済みの逐次推薦システムを、提示されたスレート（推薦リスト）の将来的な影響を推論する意思決定層でラップする方法を研究しています。提案されたインターフェースであるUA-TWMは、元の推薦モデルを効用のアンカーとして凍結したまま保持し、近傍の代替スレートを生成してそれらのターゲットに関連する将来の影響を予測し、効用およびリスクの制約が満たされた場合にのみ代替案を選択し、それ以外の場合はアンカースレートにフォールバックします。本フレームワークは、較正された効用・ターゲット獲得量・失敗リスクの推定を用いるログ再生と、1ステップの状態-行動予測を用いる閉ループ制御という2つの設定で具体化されます。実験では、MovieLens-25MおよびKuaiRand-Pureにおける12種類の逐次推薦バックボーンへの転移に加え、KuaiSimにおける反復的なターゲット指向インタラクションを対象としています。
新規性
特徴的な貢献は、ランカー自体を置き換えるのではなく、既に訓練されたランカーの周辺で局所的なスレート行動制御を実行する、効用アンカー型の推薦向け世界モデルインターフェースを提案した点です。また、制約付き選択、アンカーへのフォールバック、行動条件付きの影響予測を組み合わせることで、効用維持要件のもとで将来状態の目標達成を支援します。
成果
ログ評価において、UA-TWMを適用することで、MovieLens-25MとKuaiRand-Pureの両方で対応するすべてのバックボーンにおいてRecall@20、NDCG@20、および将来状態のアライメントが向上しました。報告された向上幅は、MovieLens-25MでRecall@20が0.0119〜0.0144増加、NDCG@20が0.0028〜0.0102増加、将来状態のL1が0.037〜0.046減少となり、KuaiRand-PureではRecall@20が0.0054〜0.0068増加、NDCG@20が0.0018〜0.0037増加、将来状態の損失が0.064〜0.082減少しました。KuaiSimの閉ループ制御では、UA-TWMはクリック数42.936、ターゲットL1 2.581を達成し、4件の有効なターゲット制御クレームを生成し、3つのシナリオでフォールバックを使用し、無効なクレームはゼロでした。
論文の注目点
- UA-TWMは訓練済み推薦モデルを凍結されたアンカーとして扱い、予測された効用、ターゲット獲得量、失敗リスクを用いて近傍の代替スレートを探索します。
- 本手法は12種類の逐次推薦バックボーンにわたって幅広く検証され、2つの公開データセットにおいてランキング指標と将来状態アライメントの両方で一貫した改善を示しました。
- KuaiSimにおける閉ループ診断は行動条件付き予測の重要性を示しており、完全な状態-行動インターフェースが有効なターゲット制御介入を行えたのに対し、状態のみのアブレーションではクレームが全く行われませんでした。