Fugu-MT 論文翻訳(概要): $\mathbf{T^3}$: Reducing Belief Deviation in Reinforcement Learning for Active Reasoning

論文の概要: $\mathbf{T^3}$: Reducing Belief Deviation in Reinforcement Learning for Active Reasoning

arxiv url: http://arxiv.org/abs/2510.12264v1
Date: Tue, 14 Oct 2025 08:14:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-15 19:02:32.24294
Title: $\mathbf{T^3}$: Reducing Belief Deviation in Reinforcement Learning for Active Reasoning
Title（参考訳）: $\mathbf{T^3}$:アクティブ推論のための強化学習における信念偏差の低減
Authors: Deyu Zou, Yongqiang Chen, Jianxiang Wang, Haochen Yang, Mufei Li, James Cheng, Pan Li, Yu Gong,
Abstract要約: 本稿では,モデル信念の逸脱を追跡し,過剰な信念の逸脱を検出し,不定形尾を除去するために軌道を乱す単純な方法であるmathbfT3$を開発することを提案する。 $mathbfT3$は、トレーニングの安定性、トークン効率、最終的なパフォーマンスを継続的に向上し、ロールアウトトークンを約25%カットしながら最大30%のゲインを達成する。
参考スコア（独自算出の注目度）: 25.588308192160685
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Active reasoning requires large language models (LLMs) to interact with external sources and strategically gather information to solve problems. Central to this process is belief tracking: maintaining a coherent understanding of the problem state and the missing information toward the solution. However, due to limited reasoning capabilities, LLM-based agents often suffer from belief deviation: they struggle to correctly model beliefs, lose track of problem states, and fall into uninformative or repetitive actions. Once this happens, errors compound and reinforcement learning (RL) training fails to properly credit the crucial exploratory steps. To address this issue, we propose to track the deviation of model beliefs and develop $\mathbf{T^3}$, a simple yet effective method that detects excessive belief deviation and truncates trajectories during training to remove uninformative tails. By preserving credit for informative prefixes, $\mathbf{T^3}$ systematically improves policy optimization. Across 5 challenging tasks, $\mathbf{T^3}$ consistently enhances training stability, token efficiency, and final performance, achieving up to 30% gains while cutting rollout tokens by roughly 25%. These results highlight belief control as a key principle for developing robust and generalizable LLM-based active reasoners.
Abstract（参考訳）: アクティブ推論は、外部ソースと相互作用し、問題を解決するために戦略的に情報を収集するために大きな言語モデル(LLM)を必要とする。このプロセスの中心は、信念の追跡である。問題状態とソリューションに対する不足情報に対する一貫性のある理解を維持すること。しかし、限定的な推論能力のため、LSMベースのエージェントは信念の逸脱に悩まされることが多く、信念を正しくモデル化し、問題状態の追跡を失い、非形式的または反復的な行動に陥る。これが起こると、エラー複合と強化学習(RL)のトレーニングは、重要な探索ステップを適切に信用することができない。この問題を解決するために、モデル信念の逸脱を追跡し、過剰な信念の逸脱を検出し、不定形尾を除去するために軌道を乱す単純な方法である$\mathbf{T^3}$を開発することを提案する。情報的接頭辞のクレジットを保存することで、$\mathbf{T^3}$はポリシー最適化を体系的に改善する。 5つの課題に対して$\mathbf{T^3}$は、トレーニングの安定性、トークン効率、最終的なパフォーマンスを継続的に向上させ、ロールアウトトークンを約25%カットしながら最大30%のゲインを達成する。これらの結果は、ロバストで一般化可能なLCMベースのアクティブ推論器を開発するための鍵となる原理として、信念制御を強調している。

論文の概要: $\mathbf{T^3}$: Reducing Belief Deviation in Reinforcement Learning for Active Reasoning

関連論文リスト