論文の概要: The Layout Is the Model: On Action-Item Coupling in Generative Recommendation
- arxiv url: http://arxiv.org/abs/2510.16804v1
- Date: Sun, 19 Oct 2025 12:10:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.154783
- Title: The Layout Is the Model: On Action-Item Coupling in Generative Recommendation
- Title(参考訳): The Layout is the Model: On Action-Item Coupling in Generative Recommendation
- Authors: Xiaokai Wei, Jiajun Wu, Daiyao Yi, Reza Shirkavand, Michelle Gong,
- Abstract要約: Generative Recommendation (GR) モデルは、ユーザのインタラクション履歴を自動回帰予測のシーケンスとして扱う。
アイテム/アクショントークンのレイアウトの順序付けと可視性は、モデルがどの情報を使用することができるのか、どのように一般化するかを批判的に決定する。
第一原理に基づくGRのトークンレイアウトについて統一的な研究を行う。
- 参考スコア(独自算出の注目度): 9.269504890660306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Recommendation (GR) models treat a user's interaction history as a sequence to be autoregressively predicted. When both items and actions (e.g., watch time, purchase, comment) are modeled, the layout-the ordering and visibility of item/action tokens-critically determines what information the model can use and how it generalizes. We present a unified study of token layouts for GR grounded in first principles: (P1) maximize item/action signal in both input/output space, (P2) preserve the conditioning relationship "action given item" and (P3) no information leakage. While interleaved layout (where item and action occupy separate tokens) naturally satisfies these principles, it also bloats sequence length with larger training/inference cost. On the non-interleaved front, we design a novel and effective approach, Lagged Action Conditioning (LAC), which appears strange on the surface but aligns well with the design principles to yield strong accuracy. Comprehensive experiments on public datasets and large-scale production logs evaluate different layout options and empirically verifies the design principles. Our proposed non-interleaved method, LAC, achieves competitive or superior quality at substantially lower FLOPs than interleaving. Our findings offer actionable guidance for assembling GR systems that are both accurate and efficient.
- Abstract(参考訳): Generative Recommendation (GR) モデルは、ユーザのインタラクション履歴を自動回帰予測のシーケンスとして扱う。
アイテムとアクション(例えば、視聴時間、購入、コメント)の両方がモデル化されると、アイテム/アクショントークンの順序付けと可視性というレイアウトが、モデルがどの情報を使用することができるのか、どのように一般化するかを批判的に決定します。
P1) 入力/出力空間におけるアイテム/アクション信号の最大化、(P2) 条件付け関係の「アクション与えられたアイテム」と(P3) 情報漏洩の防止。
インターリーブされたレイアウト(アイテムとアクションが別々のトークンを占める)がこれらの原則を自然に満足する一方で、トレーニングや推論のコストを大きくしてシーケンスの長さを膨らませます。
非インターリーブの面では、表面上は奇妙に見えるが、設計原理と整合し、高い精度が得られる新しい効果的なアプローチ、LAC(Lagged Action Conditioning)を設計する。
公開データセットと大規模プロダクションログに関する包括的な実験は、異なるレイアウトオプションを評価し、設計原則を実証的に検証する。
提案する非インターリーブ手法であるLACは、インターリーブよりもFLOPがかなり低い競争性または優れた品質を実現する。
本研究は,精度と効率の両立したGRシステムを構築するための実用的なガイダンスを提供する。
関連論文リスト
- Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。
この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。
クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
論文 参考訳(メタデータ) (2025-10-15T13:49:51Z) - HoMer: Addressing Heterogeneities by Modeling Sequential and Set-wise Contexts for CTR Prediction [10.779868699316829]
逐次的および集合的コンテキストをモデル化するためのホモジニアス指向トランスフォーマーであるHoMerを提案する。
HoMerは、AUCメトリックで工業ベースラインを0.0099向上させ、CTR/RPMのようなオンラインビジネスメトリクスを1.99%/2.46%向上させています。
論文 参考訳(メタデータ) (2025-10-13T07:47:03Z) - Why Alignment Must Precede Distillation: A Minimal Working Explanation [50.784080714897776]
標準のKD -> Alignワークフローは、稀だが望ましい振る舞いを整列するためにモデルの能力を低下させる。
蒸留に先立って,まず高リコール基準でアライメントを行わなければならないことを示す。
論文 参考訳(メタデータ) (2025-09-28T06:12:19Z) - Access Paths for Efficient Ordering with Large Language Models [7.826046892571884]
本稿では,LLM ORDER BY演算子を論理抽象として提示し,その物理実装を統一評価フレームワーク内で検討する。
合意に基づくバッチサイズポリシー,ペアソートのための多数投票機構,LLMに適合した双方向の外部マージソートという3つの新しい設計を導入する。
論文 参考訳(メタデータ) (2025-08-30T01:44:36Z) - P-Aligner: Enabling Pre-Alignment of Language Models via Principled Instruction Synthesis [33.48877877146247]
大規模言語モデル(LLM)は、人間のユーザとのインタラクションにおいて、安全で有用な、誠実なコンテンツを生み出すことが期待されている。
LLMはしばしば、欠陥のある命令が与えられたとき、そのような値と一致しない。
P-Aligner(P-Aligner)は、より人間に好まれる形で表現されながら、オリジナルのインテントを保存する命令を生成する軽量モジュールである。
論文 参考訳(メタデータ) (2025-08-06T16:51:38Z) - Inductive Generative Recommendation via Retrieval-based Speculation [26.70518822003545]
生成的レコメンデーション(GR)は、アイテムを個別のトークンにトークン化し、次のトークンを予測として自動回帰的に生成することを学ぶ、新たなパラダイムである。
本稿では,プラグイン・アンド・プレイのフレームワークであるSpecGRを提案する。
論文 参考訳(メタデータ) (2024-10-03T19:32:32Z) - TransAct: Transformer-based Realtime User Action Model for
Recommendation at Pinterest [17.247452803197362]
本稿では、PinterestのHomefeedランキングアーキテクチャについて述べる。
本研究では,リアルタイム活動からユーザの短期的嗜好を抽出するシーケンシャルモデルであるTransActを提案する。
本稿では, アブレーション研究の結果, 生産時の課題, オンラインA/B実験の結果について述べる。
論文 参考訳(メタデータ) (2023-05-31T23:45:29Z) - On the Role of Bidirectionality in Language Model Pre-Training [85.14614350372004]
本研究では,次のトークン予測,テキスト入力,ゼロショットプライミング,微調整における双方向性の役割について検討する。
最大6.7Bのパラメータを持つモデルをトレーニングし、スケールで一貫性のある相違点を見つけます。
論文 参考訳(メタデータ) (2022-05-24T02:25:05Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - Consistency Regularization for Deep Face Anti-Spoofing [69.70647782777051]
顔認証システムでは、顔認証(FAS)が重要な役割を担っている。
このエキサイティングな観察によって、異なる視点の特徴整合性を促進することが、FASモデルを促進するための有望な方法かもしれないと推測する。
FASにおけるEPCR(Embeddding-level and Prediction-level Consistency Regularization)とEPCR(Embeddding-level Consistency Regularization)を併用した。
論文 参考訳(メタデータ) (2021-11-24T08:03:48Z) - Pre-training Graph Transformer with Multimodal Side Information for
Recommendation [82.4194024706817]
本稿では,項目側情報とその関連性を考慮した事前学習戦略を提案する。
我々はMCNSamplingという新しいサンプリングアルゴリズムを開発し、各項目のコンテキスト近傍を選択する。
The proposed Pre-trained Multimodal Graph Transformer (PMGT) learns item representations with two objectives: 1) graph structure reconstruction, 2) masked node feature reconstruction。
論文 参考訳(メタデータ) (2020-10-23T10:30:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。