論文の概要: Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.13504v1
• Date: Fri, 09 Oct 2026 12:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.577838
• Title: Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
• Title（参考訳）: 時間的近さを超えて:強化学習におけるクレジット割り当てのための説明的世界モデル
• Abstract要約: 説明的世界モデル(英: Explanatory World Models、EWM)は、説明を用いて、実現された結果に確実に寄与する初期の事象を識別する属性フレームワークである。 EWMは、遅延した結果から学ぶための構造化された再利用可能なクレジットを提供する。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Recommenders increasingly use Reinforcement Learning (RL) to optimize outcomes that may appear hundreds or thousands of interactions after a decision. Standard RL propagates reward according to temporal proximity rather than explicit relevance, attenuating the signal assigned to distant but important actions and creating a source of sample inefficiency. We introduce Explanatory World Models (EWM), an attribution framework that uses explanations to identify the earlier events that plausibly contributed to a realized outcome. We instantiate EWM with a frontier language model and use its explanations as learning signals using a conservative hierarchical operator that recursively redistributes reward while preserving the undiscounted episode return. To investigate what constitutes a useful explanation, we operationalize three complementary variants inspired by Halpern's actual causation, Lombrozo's explanatory simplicity, and Deutsch's hard-to-vary explanations. We evaluate EWM on two controlled long-horizon RL benchmarks, a public sequential-recommendation benchmark, and an industry-scale generative recommender. On Crafter and WordCraft, EWM substantially outperforms PPO and LaRe, with its largest gains when rewards are most delayed. On KuaiRand, EWM outperforms SFT and LaRe offline and A2C online. Finally, in an offline evaluation of an industry generative recommender, EWM considerably improves Recall and increases behavioral proxies. These results suggest that explanations can provide structured and reusable credit for learning from delayed outcomes.
• Abstract（参考訳）: ジェネレーティブレコメンメンダは、強化学習(Reinforcement Learning, RL)を使用して、決定後に数百から数千のインタラクションが現れるような結果を最適化する。 標準RLは、明示的な関連性よりも時間的近接性に従って報酬を伝播し、遠方の重要な行動に割り当てられた信号を減衰させ、サンプルの非効率性の源となる。 本稿では,実証的世界モデル(Explanatory World Models, EWM)について紹介する。 我々はEWMをフロンティア言語モデルでインスタンス化し、その説明を学習信号として使用する。 有用な説明として何を構成するかを調べるため、ハルパーンの実際の因果関係、ロンブロゾの説明的単純さ、ドイッチュの難易度説明から着想を得た3つの相補的変種を運用した。 我々は,2つの制御された長水平RLベンチマーク,パブリックシーケンシャルレコメンデーションベンチマーク,産業規模のジェネレーティブレコメンデータについてEWMを評価した。 CrafterとWordCraftでは、EWMはPPOとLaReを大きく上回っている。 KuaiRandでは、EWMがSFTとLaReをオフライン、A2Cをオンラインで上回っている。 最後に、産業生成推奨者のオフライン評価において、EWMはリコールを大幅に改善し、行動プロキシを増加させる。 これらの結果は, 遅延した結果から学習する上で, 構造的かつ再利用可能な信用を与えることができることを示唆している。

関連論文リスト

• RewardExplainer: Learning Reward Model Explanations from Counterfactual Preference Feedback [40.29410627249123]
  Reward Model(RM)は、大規模言語モデルポストトレーニングの重要なコンポーネントであり、後続の強化学習のための報奨信号を提供する。 提案するRewardExplainerは,相手の報酬モデルからフィードバックを得るためのフレームワークである。 オープンエンド、アトミック、インターベンブルな自然言語スコアリング機構を生成し、より具体的で読みやすく、動作可能な説明を作成する。
  論文  参考訳（メタデータ） (2026-09-27T22:43:38Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• Beyond Interleaving: Causal Attention Reformulations for Generative Recommender Systems [0.14930644306169805]
  AttnLFA(Late Fusion for Actions)とAttnMVP(Mixed Value Pooling)を紹介する。 これらのモデルは、Transformerベースのシーケンスモデリングの表現力を維持しながら、$i_n rightarrow a_n$因果依存性を明示的にエンコードする。 我々は,大手ソーシャルネットワークからの大規模製品レコメンデーションデータに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-11T03:30:49Z)
• Efficient Reasoning via Reward Model [24.105621725286497]
  検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)の推論能力を高めることが示されている。 DeepSeek-R1 や OpenAI o1 のような LRM は、過剰または無関係な推論ステップを含む冗長な応答をしばしば生成する。 本稿では,結果報酬と簡潔度スコアとの間に明確な依存性を有する,CRF(Conciseness Reward Function)という新たな報酬定式化を導入する。
  論文  参考訳（メタデータ） (2025-11-12T09:51:07Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• R$^2$ec: Towards Large Recommender Models with Reasoning [59.32598867813266]
  R$2$ecは、本質的な推論能力を持つ統一された大型レコメンデータモデルである。 R$2$ecは、推論チェーン生成と効率的なアイテム予測の両方を単一のモデルでサポートするデュアルヘッドアーキテクチャを導入している。 注釈付き推論データの欠如を克服するため、強化学習フレームワークであるRecPOを設計する。
  論文  参考訳（メタデータ） (2025-05-22T17:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。