論文の概要: TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents

• arxiv url: http://arxiv.org/abs/2608.16156v1
• Date: Mon, 17 Aug 2026 06:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.554977
• Title: TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents
• Title（参考訳）: TRCA:ロングホライゾンLSM剤のトランジッションワイドルーブリッククレジットアサインメント
• Abstract要約: Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。 本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。 ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 22.01777615106231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon large language model (LLM) agents are typically optimized with sparse terminal outcomes, making fine-grained credit assignment across multi-step interactions difficult. Existing approaches either rely on process evaluators, which incur annotation and inference costs, or derive step-level credit from successful trajectories. However, successful trajectories are extremely scarce during early-stage reinforcement learning, substantially weakening anchor-based methods. We propose Transition-wise Rubric Credit Assignment (TRCA), which derives step-level supervision directly from action-induced transitions without learned evaluators or successful anchors. TRCA evaluates each transition using Evidence, Execution, and Invalidity rubrics to capture task-relevant information acquisition, valid task execution, and invalid or regressive behavior. From these judgments, Foundational Rubric Reward measures local transition quality, while Breakthrough Rubric Reward tracks newly covered Evidence and Execution conditions to reward incremental task progress. Combined with terminal outcomes, these signals produce fine-grained step-level advantages for policy optimization. Experiments on ALFWorld, WebShop, and seven search-augmented question-answering benchmarks show consistent improvements over the evaluated baselines. With Qwen2.5-7B-Instruct, TRCA improves the WebShop score by 6.0%-12.6%; with Qwen2.5-3B-Instruct, it improves the average SearchQA score by 1.9%-18.3%. These results demonstrate the effectiveness of transition-wise rubric credit assignment for long-horizon tasks with sparse successful anchors.
• Abstract（参考訳）: Long-Horizon Large Language Model (LLM) エージェントは、通常、スパース終端結果に最適化され、多段階間相互作用におけるきめ細かいクレジット割り当てが困難になる。 既存のアプローチは、アノテーションや推論コストを発生させるプロセス評価器に依存するか、あるいは軌道を成功させる段階的な信用を導き出すかのいずれかである。 しかし、成功軌道は早期強化学習において極めて乏しく、アンカーベースの手法を著しく弱めている。 本稿では,学習評価やアンカー成功を伴わずに,行動誘発遷移から直接段階的監督を導出するトランジションワイド・ルーブリック・クレジット・アサインメント(TRCA)を提案する。 TRCAは、Evidence, Execution, Invalidity rubricsを使用して各トランジションを評価し、タスク関連情報取得、有効なタスク実行、無効または回帰的な振る舞いをキャプチャする。 これらの判断から、Breakthrough Rubric Rewardは局所的な遷移の質を測定し、Breakthrough Rubric Rewardは新たにカバーされたエビデンスと実行条件を追跡して、漸進的なタスクの進捗に報いる。 終末結果と組み合わせることで、これらの信号はポリシー最適化のためのきめ細かいステップレベルの利点をもたらす。 ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。 Qwen2.5-7B-Instructでは、TRCAはWebShopのスコアを6.0%-12.6%改善し、Qwen2.5-3B-Instructでは検索QAの平均スコアを1.9%-18.3%改善した。 これらの結果から, 疎成功アンカーを用いた長期作業における過渡的ルーリッククレジット割り当ての有効性が示された。

関連論文リスト

• MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
  プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。 MileGPOは補助モデルも追加の環境相互作用も必要としない。
  論文  参考訳（メタデータ） (2026-08-20T08:58:27Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
  ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。 本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。 ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
  論文  参考訳（メタデータ） (2026-08-05T17:41:31Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Semantic Consistency Policy Optimization for Reinforcement Learning of LLM Agents [45.62262776712415]
  グループベース強化学習は、軌道上の結果からステップレベルクレジットを導出することにより、長期的・疎逆的タスクの訓練後エージェントを効果的に活用する。 この矛盾は、競合する勾配を同様のアクションに送信し、失敗するロールアウト内の部分的に正しい進捗を無駄にする。 本稿では,この矛盾を緩和する価値のない報酬形成手法であるセマンティック一貫性ポリシー最適化(SCPO)を提案する。 SCPOは、失敗した各ステップを、成功した兄弟姉妹に対してスコアし、その兄弟姉妹に沿った新しい進歩に対してプラスのステップレベルクレジットを追加する。
  論文  参考訳（メタデータ） (2026-06-24T14:02:13Z)
• Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes [40.20394793623452]
  事前トレーニングされたVLAポリシーがオンラインRLを介して微調整されると、各ロールアウトエピソードは単一のバイナリ結果のみを生成する。 階層的アドバンテージ・重み付き行動クローン (HABC) を提案する。 HABCは教師付き微調整(SFT)ベースラインを36%、44%、12%から92%、88%、38%で成功している。
  論文  参考訳（メタデータ） (2026-06-15T17:57:14Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
  本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。 より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
  論文  参考訳（メタデータ） (2026-05-26T15:07:03Z)
• Milestone-Guided Policy Learning for Long-Horizon Language Agents [67.87164829944238]
  我々は,長軸言語エージェントを訓練するためのマイルストーン誘導型政策学習フレームワークBEACONを紹介する。 ALFWorld、WebShop、ScienceWorldでは、BEACONはGRPOとGiGPOを一貫して上回っている。 これらの結果から,長期言語エージェントの訓練に有効なパラダイムとして,マイルストーン・アチョンド・クレジット・アサインが確立された。
  論文  参考訳（メタデータ） (2026-05-07T12:00:40Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。