論文の概要: Intrinsic Credit Assignment for Long Horizon Interaction

• arxiv url: http://arxiv.org/abs/2602.12342v1
• Date: Thu, 12 Feb 2026 19:00:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.724266
• Title: Intrinsic Credit Assignment for Long Horizon Interaction
• Title（参考訳）: 長期水平相互作用のための固有のクレジットアサインメント
• Abstract要約: Belief-RLは、強化学習における純粋に結果に基づく報酬を一貫して上回る情報探索能力を教える。 我々の研究は、本質的な信念の報酬を通じて中間行動にクレジットを割り当てることによって、長期にわたる不確実性をナビゲートするためのスケーラブルなトレーニング戦略を導入している。
• 参考スコア（独自算出の注目度）: 20.67253382614053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we train agents to navigate uncertainty over long horizons? In this work, we propose ΔBelief-RL, which leverages a language model's own intrinsic beliefs to reward intermediate progress. Our method utilizes the change in the probability an agent assigns to the target solution for credit assignment. By training on synthetic interaction data, ΔBelief-RL teaches information-seeking capabilities that consistently outperform purely outcome-based rewards for Reinforcement Learning, with improvements generalizing to out-of-distribution applications ranging from customer service to personalization. Notably, the performance continues to improve as we scale test-time interactions beyond the training horizon, with interaction-efficiency increasing even on Pass@k metrics. Overall, our work introduces a scalable training strategy for navigating uncertainty over a long-horizon, by enabling credit assignment to intermediate actions via intrinsic ΔBelief rewards.
• Abstract（参考訳）: 長い地平線上で不確実性をナビゲートするために、エージェントをどうやって訓練できるのか? 本研究では,言語モデル固有の信念を活用するΔBelief-RLを提案する。 提案手法では,エージェントがターゲットのソリューションに割り当てる確率の変化を利用してクレジットを割り当てる。 ΔBelief-RLは、総合的なインタラクションデータに基づくトレーニングにより、顧客サービスからパーソナライズに至るまでのアウト・オブ・ディストリビューション・アプリケーションに一般化された、強化学習における純粋に結果に基づく報酬を一貫して上回る情報検索能力を教える。 特に、トレーニングの地平線を越えてテスト時のインタラクションをスケールするにつれてパフォーマンスが向上し続けており、Pass@kメトリクスでもインタラクション効率が向上しています。 全体として、本研究は、内在的なΔBelief報酬を通じて中間行動への信用割当を可能にすることによって、長期にわたる不確実性をナビゲートするためのスケーラブルなトレーニング戦略を導入している。

関連論文リスト

• Agentic Reinforcement Learning with Self-Distilled Reward Shaping [12.091871903119698]
  エージェント強化学習は、LLMエージェントが相互作用を通じて学ぶことを可能にするが、低軌道レベルの報酬は、どの中間決定が信用に値するかを特定せずに、成功を明らかにする。 本稿では,言語エージェントに対する返却関連トークンレベルクレジットを構築するためのフレームワークである,自己拡張型リワードシェーピングを用いたエージェント強化学習を紹介する。 実験の結果、ADRSは長い水平タスクのパフォーマンスを継続的に改善し、RLバックボーン、データ設定の削減、目に見えないタスク、トレーニングの拡張などを実現している。
  論文  参考訳（メタデータ） (2026-08-04T06:56:47Z)
• RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents [24.215311212134882]
  本稿では,高密度なプロセス報酬から得られる豊富な情報を活用して,結果報酬によるトレーニングを容易にするために,Reward-Swap Policy Optimization (RSPO)を提案する。 RSPOは、最適化目標と真の結果報酬との整合性を確保しつつ、サンプル軌跡の多様性を保証する。
  論文  参考訳（メタデータ） (2026-07-06T06:32:39Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Preference-Calibrated Human-in-the-Loop Reinforcement Learning for Robotic Manipulation [40.17737666526493]
  PACT(Preference-calibrated Actor-Critic Training framework)を提案する。 まず、人間の実演から学習し、信用補正のための最適部分を特定するプログレスモデルを設計する。 次に、選好ペアを構築して、同定された準最適セグメントのベルマン目標をペナルティ化する反ファクト的優位性を定義する。
  論文  参考訳（メタデータ） (2026-06-02T17:38:25Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents [0.31034395048547575]
  既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するための静的なプロンプト戦略や手作業に依存している。 本稿では,プロセス・リワード・モデル(Process Reward Models,PRM)を導入するフレームワークであるSWE-Shepherdを提案する。 SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。
  論文  参考訳（メタデータ） (2026-04-12T06:51:47Z)
• HISR: Hindsight Information Modulated Segmental Process Rewards For Multi-turn Agentic Reinforcement Learning [47.756127177035246]
  本稿では,Hendsight Information を利用したセグメンショナル・プロセス・リワードの修正手法を提案する。 具体的には、タスクの各サブゴールに対する報酬を割り当てるために、セグメントレベルプロセスRMが提示される。 軌跡における重要なセグメントを強調するために,軌跡結果の把握後,ある動作を行うことの好みを反映した後視モデルが考案された。
  論文  参考訳（メタデータ） (2026-03-19T09:42:05Z)
• Generative Adversarial Post-Training Mitigates Reward Hacking in Live Human-AI Music Interaction [14.099864893966377]
  強化学習後、コヒーレンスに基づく報酬を利用して出力の多様性を低下させる。 この崩壊は、音楽的創造性は動的変動と相互応答性に依存するライブジャミングにおいて特に有害である。 メロディと和音の伴奏のためのRLポストトレーニングにおける報酬ハッキングを軽減するために,ポリシー生成トラジェクトリに対する新たな逆行訓練手法を提案する。
  論文  参考訳（メタデータ） (2025-11-22T02:12:41Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Credit-cognisant reinforcement learning for multi-agent cooperation [0.0]
  エージェントは,その行動が環境および共同エージェントに与える影響を知覚することができる。 これらの経験を操り、それらに含まれる報酬を構成することで、すべてのエージェントが受け取る報酬を同一のアクションシーケンスに含めることで、独立した深層Q-ラーニングの性能を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2022-11-18T09:00:25Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Targeted Data Acquisition for Evolving Negotiation Agents [6.953246373478702]
  成功した交渉者は、自己利益と協力のために最適化のバランスをとる方法を学ばなければならない。 現在の人工交渉エージェントは、トレーニングされた静的データセットの品質に大きく依存することが多い。 我々は、強化学習エージェントの探索をガイドするターゲットデータ取得フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-06-14T19:45:59Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
  教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。 本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
  論文  参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。