論文の概要: From Understanding to Action: Feedback-Grounded Policy Discovery for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2607.27789v1
- Date: Thu, 30 Jul 2026 07:23:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.442353
- Title: From Understanding to Action: Feedback-Grounded Policy Discovery for Generative Recommendation
- Title（参考訳）: 理解から行動へ:ジェネレーティブレコメンデーションのためのフィードバックを取り巻く政策発見
- Abstract要約: 大言語モデル(LLM)は、異種相互作用履歴を推論することで、生成的推奨者を補完することができる。
LLMは、レコメンデーション固有の結果フィードバックで本質的に訓練されていない。
本稿では、まずタスク指向の意図を誘導し、次にレコメンデーションポリシーを発見するフィードバック駆動型エージェントフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 26.46543637149513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic-ID-based generative recommenders enable efficient next-item generation, but their item-level supervision mainly captures behavioral co-occurrence and local transitions. Large language models (LLMs) can complement these models by reasoning over heterogeneous interaction histories to understand the user's current demand. However, LLMs are not inherently trained with recommendation-specific outcome feedback, and linguistically plausible reasoning therefore does not necessarily lead to effective recommendation decisions. We term this mismatch the Understanding-Action Gap. Accordingly, we distinguish intent knowledge, which captures the user's current demand, from policy knowledge, which specifies the recommendation direction and rejection boundary under that demand. To bridge this gap, we propose a feedback-driven agent framework that first induces task-oriented intent and then discovers recommendation policies according to their incremental utility over an intent-only baseline. Candidate policies are evaluated and refined using outcome-derived feedback rather than linguistic plausibility. We further transfer the resulting intent and policy knowledge into two latent tokens of a lightweight Semantic-ID generator through dual-space relational distillation, enabling LLM-free online inference. Experiments on public benchmarks show consistent improvements over baselines, while large-scale online A/B tests achieve gains of 4.506% in Revenue and 4.621% in ADVV.
- Abstract（参考訳）: セマンティックIDベースの生成レコメンデータは、効率的な次世代を実現できるが、アイテムレベルの監視は主に行動の共起と局所的な遷移を捉えている。
大規模言語モデル(LLM)は、ユーザの現在の要求を理解するために異種相互作用履歴を推論することで、これらのモデルを補完することができる。
しかし、LLMは本質的にレコメンデーション固有の結果フィードバックで訓練されていないため、言語学的に妥当な推論は必ずしも効果的なレコメンデーション決定につながるとは限らない。
我々はこのミスマッチを理解-アクションギャップと呼ぶ。
そこで我々は,ユーザの現在の要求を捉える意図的知識と,その要求の下での推奨方向と拒否境界を指定する方針的知識とを区別する。
このギャップを埋めるために、まずタスク指向の意図を誘導し、次にインテントのみのベースライン上でインクリメンタルなユーティリティに従ってレコメンデーションポリシーを発見するフィードバック駆動型エージェントフレームワークを提案する。
候補ポリシーは、言語的妥当性よりも結果からのフィードバックを用いて評価され、洗練される。
さらに、2次元空間のリレーショナル蒸留による軽量セマンティックID生成器の2つの潜在トークンに、結果の意図とポリシーの知識を変換し、LLMのないオンライン推論を可能にする。
大規模なオンラインA/Bテストでは収益が4.506%、ADVVが4.621%向上した。
関連論文リスト
- STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。
我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。
様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2026-05-13T11:04:31Z) - AIPO: Learning to Reason from Active Interaction [54.10819421625103]
AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。
AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
論文 参考訳（メタデータ） (2026-05-08T19:06:55Z) - Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。
MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。
我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
論文 参考訳（メタデータ） (2026-04-13T15:18:51Z) - Verifiable Reasoning for LLM-based Generative Recommendation [106.7765000777685]
大規模言語モデル(LLM)における推論は、最近、生成的レコメンデーションの強化に強い可能性を示している。
本稿では,信頼性の高いフィードバックを提供するために,検証と推論をインターリーブする新しいTextbftextitreason-verify-recommendパラダイムを提案する。
4つの実世界のデータセットの実験は、VRecが効率を損なうことなく、推奨の有効性とスケーラビリティを大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-03-08T16:55:45Z) - Ad Insertion in LLM-Generated Responses [16.434649348378706]
2つの切り離し戦略を通じて緊張を解消する実践的な枠組みを提案する。
まず、広告挿入と応答生成を分離し、安全性と明示的な開示を確保する。
次に、ジャンル'(ハイレベルなセマンティッククラスタ)をプロキシとして使用することで、特定のユーザクエリから入札を分離する。
論文 参考訳（メタデータ） (2026-01-27T10:16:03Z) - Reason-to-Recommend: Using Interaction-of-Thought Reasoning to Enhance LLM Recommendation [9.282278040339138]
$textbfR2Rec$は推論強化レコメンデーションフレームワークである。
ユーザアイコングラフからインタラクションチェーンをサンプリングし、それらを構造化されたインタラクション・オブ・思想に変換する。
論文 参考訳（メタデータ） (2025-06-05T14:16:44Z) - R$^2$ec: Towards Large Recommender Models with Reasoning [59.32598867813266]
R$2$ecは、本質的な推論能力を持つ統一された大型レコメンデータモデルである。
R$2$ecは、推論チェーン生成と効率的なアイテム予測の両方を単一のモデルでサポートするデュアルヘッドアーキテクチャを導入している。
注釈付き推論データの欠如を克服するため、強化学習フレームワークであるRecPOを設計する。
論文 参考訳（メタデータ） (2025-05-22T17:55:43Z) - OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models [68.17018458283651]
本研究は,LLMのチェーン・オブ・思想能力のオフライン評価に焦点をあてる。
我々は知識グラフ(例えばWikidata5m)を使って、生成された思考の連鎖に対するフィードバックを提供する。
提案手法に基づいてLCMを最適化する方法を示す。
論文 参考訳（メタデータ） (2024-10-31T07:48:44Z) - Uncertainty-Aware Explainable Recommendation with Large Language Models [15.229417987212631]
GPT-2のプロンプトとしてユーザおよびアイテム入力のIDベクトルを利用するモデルを開発する。
マルチタスク学習フレームワークには,推薦タスクと説明タスクの両方を最適化するために,共同トレーニング機構が採用されている。
提案手法はYelp, TripAdvisor, Amazon のデータセット上でそれぞれ 1.59 DIV, 0.57 USR, 0.41 FCR を達成する。
論文 参考訳（メタデータ） (2024-01-31T14:06:26Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。