論文の概要: Same Luck, Different Choice: Twin-World Credit Assignment for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.31544v2
• Date: Mon, 26 Oct 2026 20:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.156657
• Title: Same Luck, Different Choice: Twin-World Credit Assignment for Agentic Reinforcement Learning
• Title（参考訳）: 同じ幸運と異なる選択:エージェント強化学習のためのツインワールドクレジットアサインメント
• Abstract要約: エージェント強化学習は完全なエピソードに報いるが、ポリシーはその内部のすべての決定に対してクレジットが必要である。 我々はTWICE(TWIn-world Credit Estimation)を導入し、各トークンのガムベルノイズをターン・アンド・ラインでキーする。 TWICE は Qwen2.5-3B と 7B で GRPO の平均精度を 5.3 と 4.5 ポイント改善し、木探索と反ファクトブラッチングのベースラインを上回り、VinePPO よりも 68% の補助トークンを使用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic reinforcement learning rewards a complete episode, yet the policy needs credit for every decision inside it. Counterfactual branching estimates this credit by re-running the episode after an alternative decision, but the branch draws its sampling noise independently of the factual episode, so the outcome difference mixes the effect of the decision with the luck of everything that follows. We observe that in agentic search the retriever, the corpus, and the grader are deterministic, so an episode is a deterministic function of the policy's decisions and its sampling noise. Twin worlds are therefore realizable: the same noise, a different decision. We introduce TWICE (TWIn-world Credit Estimation), which keys the Gumbel noise of every token by turn and line, rolls out counterfactual twins that inherit the factual episode's downstream noise, and turns their paired outcome differences into turn-level advantages for policy-gradient updates on actor-sampled trajectories; only the actor is deployed. Twin credit is unbiased for any coupling quality, its variance is that of an independent counterfactual scaled by $1-ρ$, where $ρ$ is the twins' outcome correlation, and under coupling the number of rollouts needed to resolve an advantage of size $Δ$ falls from $Θ(Δ^{-2})$ to $Θ(Δ^{-1})$. A square-root rule spends the twin budget where outcomes are predicted to disagree per unit cost. On seven question-answering benchmarks, TWICE improves the average exact match of GRPO by 5.3 and 4.5 points on Qwen2.5-3B and 7B, outperforms tree-search and counterfactual-branching baselines, and uses 68% fewer auxiliary tokens than VinePPO.
• Abstract（参考訳）: エージェント強化学習は完全なエピソードに報いるが、ポリシーはその内部のすべての決定に対してクレジットが必要である。 カウンターファクト・ブランチリングは、別の決定の後、エピソードを再実行することでこのクレジットを推定するが、ブランチは実エピソードとは無関係にサンプリングノイズを引き出すため、結果差は決定の効果と後続のすべての運とを混合する。 エージェントによる検索では、検索者、コーパス、およびグレーダーが決定論的であるため、エピソードはポリシーの決定とそのサンプリングノイズの決定論的機能である。 したがって、ツインワールドは実現可能であり、同じノイズ、異なる決定である。 我々はTWICE(TWIn-world Credit Estimation)を導入し、各トークンのガムベルノイズをターン・アンド・ラインでキーし、現実のエピソードの下流のノイズを継承する反ファクトの双子をロールアウトし、それぞれの結果の相違を、アクターがサンプリングしたトラジェクトリのポリシー段階的な更新のターンレベルアドバンテージに変え、アクターのみをデプロイする。 ツインクレジットは任意の結合品質に対して偏りがなく、その分散は1-ρ$でスケールされた独立の反事実であり、そこで$ρ$は双子の結果の相関であり、結合の下では$Δ$の利点を解くのに必要なロールアウトの個数は$ Δ^{-2})$から$ Δ(Δ^{-1})$に落ちる。 平方根ルールは、単体コスト毎に結果が一致しないと予測されるツイン予算に費やされる。 7つの問合せベンチマークで、TWICEは、Qwen2.5-3Bと7BのGRPOの平均精度を5.3と4.5ポイント改善し、木探索と偽ブラッシングベースラインを上回り、VinePPOよりも68%少ない補助トークンを使用する。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Controlled Acquisition and Abstention in Three-Channel Score Conflicts [8.345705067210861]
  音声、ビデオ、テキストが一致しない場合、精度だけで別のソースを取得するかどうかを示さない。 制御された3スコアのベンチマークでこれらの選択について検討する。 一致したコントロールは、しきい値ポリシーが要求の少ない決定と常に一致していることを示している。
  論文  参考訳（メタデータ） (2026-10-07T19:09:30Z)
• JevForest: Path Voting for Budgeted Feature Acquisition [5.862281586283603]
  JevForestは、ブートストラップツリーからパス依存の提案を集約する機能獲得ポリシーである。 このポリシーによって選択されたセマンティックな回答に対して、オンライン実装クエリJev。
  論文  参考訳（メタデータ） (2026-10-07T07:23:47Z)
• VETTA: Coordinating Turn- and Token-Level Credit Assignment for Multi-Turn LLM Agents [30.005457080904478]
  マルチターンLDMエージェントは、トークンごとに応答トークンを生成しながら、複数のインタラクション間でスパースなタスクフィードバックを受け取ることが多い。 VETTAは,共有批評家の異なる頭上で,ターンレベルの値とトークンレベルの値を共同で学習する信用割当手法である。 VETTAは両方の時間的シーケンスに沿って利点を計算し、各ターンの利点とPPO更新のための応答内中心のトークン残差を結合する。
  論文  参考訳（メタデータ） (2026-10-06T14:15:11Z)
• UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning [23.174164520936326]
  適応型ローカルクレジット仲裁によりフィードバックソースを統一するUniOPSD(Unified On-Policy Self-Distillation)を導入する。 Qwen2.5-3B-Instruct と Qwen2.5-7B-Instruct により、UniOPSD は ALFWorld の成功率 82.8% と 833.6% 、WebShop の成功率 75.0% と 82.0% それぞれ 455.3% と 449.8% を達成している。
  論文  参考訳（メタデータ） (2026-09-28T10:13:29Z)
• The Variance of Thought: Policy Variance, Critical Forks, and Local Credit Assignment [2.6994604905555004]
  政策分散はリターン分散の唯一の源であり、臨界フォークと呼ばれる状態において離散パルスに注入される。 ブートストラッピングは、生存確率の積を和に変換することによってモンテカルロの利点推定を除去する。
  論文  参考訳（メタデータ） (2026-08-23T15:46:56Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
  本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。 本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。 我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
  論文  参考訳（メタデータ） (2023-10-02T08:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。