論文の概要: Action is All You Need: Dual-Flow Generative Ranking Network for Recommendation
- arxiv url: http://arxiv.org/abs/2505.16752v3
- Date: Mon, 18 Aug 2025 11:53:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:09.97869
- Title: Action is All You Need: Dual-Flow Generative Ranking Network for Recommendation
- Title(参考訳): アクションは必要なものすべて: 推薦のための二流生成ランクネットワーク
- Authors: Hao Guo, Erpeng Xue, Lei Huang, Shichao Wang, Xiaolei Wang, Lei Wang, Jinpeng Wang, Sheng Chen,
- Abstract要約: 本稿では,相互作用モデリングの最適化にデュアルフロー機構を用いるDual-Flow Generative Ranking Network (DFGR)を提案する。
DFGRは、元のユーザ行動シーケンスを、アクション情報の信頼性に基づいて、実際のフローと偽のフローに複製する。
この設計は、MetaのHSTUベースのモデルと比較して、計算オーバーヘッドを低減し、トレーニング効率と推論性能の両方を改善する。
- 参考スコア(独自算出の注目度): 25.30922374657862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Learning Recommendation Models (DLRMs) often rely on extensive manual feature engineering to improve accuracy and user experience, which increases system complexity and limits scalability of model performance with respect to computational resources. Recently, Meta introduced a generative ranking paradigm based on HSTU block that enables end-to-end learning from raw user behavior sequences and demonstrates scaling law on large datasets that can be regarded as the state-of-the-art (SOTA). However, splitting user behaviors into interleaved item and action information significantly increases the input sequence length, which adversely affects both training and inference efficiency. To address this issue, we propose the Dual-Flow Generative Ranking Network (DFGR), that employs a dual-flow mechanism to optimize interaction modeling, ensuring efficient training and inference through end-to-end token processing. DFGR duplicates the original user behavior sequence into a real flow and a fake flow based on the authenticity of the action information, and then defines a novel interaction method between the real flow and the fake flow within the QKV module of the self-attention mechanism. This design reduces computational overhead and improves both training efficiency and inference performance compared to Meta's HSTU-based model. Experiments on both open-source and real industrial datasets show that DFGR outperforms DLRM, which serves as the industrial online baseline with extensive feature engineering, as well as Meta's HSTU and other common recommendation models such as DIN, DCN, DIEN, and DeepFM. Furthermore, we investigate optimal parameter allocation strategies under computational constraints, establishing DFGR as an efficient and effective next-generation generative ranking paradigm.
- Abstract(参考訳): Deep Learning Recommendation Models (DLRM) はしばしば、精度とユーザエクスペリエンスを向上させるために広範囲な手動機能工学に依存しており、それによってシステムの複雑さが増加し、計算資源に対するモデルパフォーマンスのスケーラビリティが制限される。
最近、MetaはHSTUブロックに基づく生成的ランキングパラダイムを導入し、生のユーザ行動シーケンスからエンドツーエンドの学習を可能にし、最先端(SOTA)と見なせる大規模なデータセット上でのスケーリング法則を実証した。
しかし、ユーザ動作をインターリーブアイテムとアクション情報に分割すると、入力シーケンスの長さが著しく増加し、トレーニングと推論の効率の両方に悪影響を及ぼす。
この問題を解決するために,対話モデリングを最適化し,エンドツーエンドのトークン処理による効率的なトレーニングと推論を実現するために,デュアルフロー機構を用いたDual-Flow Generative Ranking Network (DFGR)を提案する。
DFGRは、アクション情報の信頼性に基づいて、元のユーザ動作シーケンスを実フローと偽フローに複製し、自己保持機構のQKVモジュール内の実フローと偽フローとの新たなインタラクション方法を定義する。
この設計は、MetaのHSTUベースのモデルと比較して、計算オーバーヘッドを低減し、トレーニング効率と推論性能の両方を改善する。
オープンソースのデータセットと実際の産業データセットの両方の実験では、DFGRはDLRMよりも優れており、DLRMは広範な機能エンジニアリングとMetaのHSTU、DIN、DCN、DIEN、DeepFMといった一般的なレコメンデーションモデルと共に産業用オンラインベースラインとして機能している。
さらに、計算制約下での最適パラメータ割り当て戦略について検討し、DFGRを効率的かつ効率的な次世代生成ランキングパラダイムとして確立する。
関連論文リスト
- Fast State-Augmented Learning for Wireless Resource Allocation with Dual Variable Regression [83.27791109672927]
本稿では,資源割当ポリシに対する状態拡張グラフニューラルネットワーク(GNN)のパラメトリゼーションが,ユビキタスな二段階的手法の欠点を回避する方法を示す。
ラグランジアンによる国家拡張政策の最大化は、オフライントレーニングフェーズ中に学習される。
収束結果と指数確率は、双対函数(有限値)最適性ギャップの剰余に縛られることを証明する。
論文 参考訳(メタデータ) (2025-06-23T15:20:58Z) - MTGR: Industrial-Scale Generative Recommendation Framework in Meituan [28.92150571719811]
この問題に対処するためにMTGR(Meituan Generative Recommendation)を提案する。
MTGRはユーザレベルの圧縮によってトレーニングと推論の高速化を実現し、効率的なスケーリングを実現する。
この突破口は世界最大のフードデリバリープラットフォームであるMeituanに配備された。
論文 参考訳(メタデータ) (2025-05-24T11:47:28Z) - Killing Two Birds with One Stone: Unifying Retrieval and Ranking with a Single Generative Recommendation Model [71.45491434257106]
Unified Generative Recommendation Framework (UniGRF)は、検索とランキングを単一の生成モデルに統合する新しいアプローチである。
ステージ間コラボレーションを強化するため、UniGRFはランキング駆動エンハンサーモジュールを導入した。
UniGRFは、ベンチマークデータセット上で既存のモデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2025-04-23T06:43:54Z) - Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。
既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。
本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
論文 参考訳(メタデータ) (2025-04-07T15:27:37Z) - Reinforced Model Merging [53.84354455400038]
本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。
評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
論文 参考訳(メタデータ) (2025-03-27T08:52:41Z) - Recursive Gaussian Process State Space Model [4.572915072234487]
動作領域とGPハイパーパラメータの両方に適応可能な新しいオンラインGPSSM法を提案する。
ポイントを誘導するオンライン選択アルゴリズムは、情報的基準に基づいて開発され、軽量な学習を実現する。
合成データセットと実世界のデータセットの総合的な評価は,提案手法の精度,計算効率,適応性を示す。
論文 参考訳(メタデータ) (2024-11-22T02:22:59Z) - How to Make LLMs Strong Node Classifiers? [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳(メタデータ) (2024-10-03T08:27:54Z) - EchoMamba4Rec: Harmonizing Bidirectional State Space Models with Spectral Filtering for Advanced Sequential Recommendation [0.0]
制御理論は、長期依存の管理に状態空間モデル(SSM)を使うことを強調している。
本研究では,EchoMamba4Recを紹介した。
EchoMambaは既存のモデルよりも優れており、より正確でパーソナライズされたレコメンデーションを提供する。
論文 参考訳(メタデータ) (2024-06-04T09:07:58Z) - Effective Reinforcement Learning Based on Structural Information Principles [19.82391136775341]
本稿では, 効率的な意思決定・意思決定のための, 新規で汎用的な構造情報原則に基づくフレームワーク,すなわちSIDMを提案する。
SIDMは、様々な単一エージェントおよびマルチエージェントRLアルゴリズムに柔軟に組み込むことができ、その性能を向上させることができる。
論文 参考訳(メタデータ) (2024-04-15T13:02:00Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Data Augmentation through Expert-guided Symmetry Detection to Improve
Performance in Offline Reinforcement Learning [0.0]
マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。
近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。
学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
論文 参考訳(メタデータ) (2021-12-18T14:32:32Z) - Dynamic Parameterized Network for CTR Prediction [6.749659219776502]
我々は、明示的かつ暗黙的な相互作用をインスタンスワイズで学習するために、新しいプラグイン操作であるDynamic ized Operation (DPO)を提案した。
DNNモジュールとアテンションモジュールへのDPOの導入は,クリックスルー率(CTR)予測においてそれぞれ2つの主要なタスクに有効であることを示した。
我々のDynamic ized Networksは、パブリックデータセットと実世界のプロダクションデータセットのオフライン実験において、最先端の手法を著しく上回る。
論文 参考訳(メタデータ) (2021-11-09T08:15:03Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳(メタデータ) (2020-11-04T07:43:01Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。