論文の概要: TSBPO: Tree-Structured Branching for Policy Optimization in Interactive Language Agents
- arxiv url: http://arxiv.org/abs/2610.41697v2
- Date: Thu, 05 Nov 2026 13:00:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.24087
- Title: TSBPO: Tree-Structured Branching for Policy Optimization in Interactive Language Agents
- Title（参考訳）: TSBPO:対話型言語エージェントにおけるポリシー最適化のための木構造分岐
- Abstract要約: マルチターンエージェントトレーニングにおける端末からのフィードバックは、ロールアウト割り当てとローカルクレジットの過小評価の両方を残している。
TSBPOを2つのメソッドコンポーネントで導入する。
Qwen2.5-1.5Bの俳優で、固定チェックポイントは97.79%、ALFWorldで96.64%成功している。
- 参考スコア（独自算出の注目度）: 5.1676007380103135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Terminal feedback in multi-turn agent training leaves both rollout allocation and local credit underdetermined. Dynamics-Predictive Sampling (DPS) [9] provides a task-level predictive sampling reference, but interactive agents also need to choose which visited states merit further continuations. We introduce TSBPO with two method components. A lightweight, fine-grained Root/Branch budget allocator distributes factual rollouts across tasks and additional suffixes across replayable states using likelihood-fitted estimates of terminal-outcome contrast. On the resulting physical rollout trees, a tree-aware step-level credit assignment algorithm compares immediate sibling segments and assigns their local outcome contrasts to the turns they contain. Exact task/observation groups provide a complementary step term. The allocator selects what to sample; observed outcomes determine the subsequent credit. With a Qwen2.5-1.5B actor, fixed checkpoints attain 97.79% seen and 96.64% unseen stochastic success on ALFWorld, and an 81.07% per-episode success rate over six stochastic episodes for each of the 500 WebShop test goals. At the WebShop update-100 checkpoint, removing the observation-group step term yields 75.93% under the same evaluation. These results describe the evaluated training configurations on two interactive benchmarks.
- Abstract（参考訳）: マルチターンエージェントトレーニングにおける端末からのフィードバックは、ロールアウト割り当てとローカルクレジットの過小評価の両方を残している。
Dynamics-Predictive Smpling (DPS) [9] はタスクレベルの予測サンプリング参照を提供するが、対話エージェントはどの訪問した状態がさらなる継続に役立つかを選択する必要がある。
TSBPOを2つのメソッドコンポーネントで導入する。
軽量できめ細かいRoot/Branch予算アロケータは、端末出力コントラストの確率に適合した推定値を用いて、タスクと追加のサフィックスを再生可能な状態に分散する。
結果の物理的ロールアウトツリーでは、木を意識したステップレベルのクレジット割り当てアルゴリズムが、即時兄弟セグメントを比較し、それらのローカルな結果のコントラストを、それらが含むターンに割り当てる。
Exact Task/observation Groupは補完的なステップ用語を提供する。
アロケータは何をサンプリングするかを選択し、観察結果がその後のクレジットを決定する。
Qwen2.5-1.5Bの俳優で、固定チェックポイントは97.79%、ALFWorldは96.64%の確率で成功し、500 WebShopテストのゴールごとに6回の確率で81.07%の成功率を記録した。
WebShop update-100チェックポイントでは、観察グループステップ項を削除すると、同じ評価の下で75.93%が生成される。
これらの結果は、2つの対話型ベンチマークで評価されたトレーニング構成について述べる。
関連論文リスト
- ProtAgent: Post-Training Compact Protein Tool Agents with Interaction-Level Credit Assignment [59.85337246242935]
タンパク質アノテーション剤は、適切なバイオインフォマティクスツールを選択し、それらのアウトプットを解釈し、最終的な答えで結果のエビデンスを使用する必要がある。
本稿では,教師付き微調整を用いた2段階パイプラインであるProtAgentについて紹介する。
論文 参考訳（メタデータ） (2026-10-24T15:42:13Z) - DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter [39.94868478094406]
報酬を伴う強化学習は、個々のステップについてはほとんど語らない疎い端末報酬に依存します。
デルタTTGを導入し、共有進捗計を用いて再利用可能な進捗信号を学習する。
アクタートレーニング中、フリーズメータの見積もりの変化は、報酬を変更することなく、ステップ間で結果に起因したアドバンテージを推定する。
論文 参考訳（メタデータ） (2026-10-13T03:49:32Z) - Matched-Context Group Policy Optimization for LLM Agent Training [29.227420368176595]
本稿では,すでに収集された軌道から重み付けされた行動嗜好を構築する手法を提案する。
MCGPOはロールアウトデータと各レスポンスのオリジナルの履歴を再利用し、批判なしのトレーニングを保存する。
論文 参考訳（メタデータ） (2026-10-09T15:41:37Z) - Disentangling Task Difficulty from Run-Level Failure in Agent Failure Prediction [1.4952530080205333]
近年のアプローチでは、AUROC値が0.85から0.94の強い予測性能が報告されている。
同一のエージェントによる同じタスクを繰り返し試みるベンチマークについて検討する。
結果の精度だけでなく、捕捉した信号が意図した配置決定をサポートするかどうかによって、故障予測が評価されるべきであることを示す。
論文 参考訳（メタデータ） (2026-10-04T22:17:04Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - Planned Test-Time Scaling with Coordinated Reasoning Paths [83.82104376196268]
独立サンプリングを協調的な協調ポリシーで置き換えるためのテスト時間スケーリングを提案する。
プランナーは各ブランチのソリューションアウトラインを生成し、異なる推論パスに向かってブランチを操縦する。
PTTSは繰り返しサンプリングを厳密に一般化し、スタイリングされた環境では補完的推論モードのカバレッジを確実に促進することを示す。
論文 参考訳（メタデータ） (2026-09-23T05:25:10Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents [22.01777615106231]
Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。
本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。
ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
論文 参考訳（メタデータ） (2026-08-17T06:19:12Z) - Trajectory-Relative Hindsight Distillation for Agentic Reinforcement Learning [22.776663901175663]
本稿では,一貫したターンアライメントプロトコルを備えたトラジェクトリ相対的ヒンドサイト蒸留フレームワークであるTRIALを紹介する。
各決定ターンに対して、TRIALは、その決定が実現した結果の結果を抽出し、通常および後向きの文脈下で同じ反応を評価する。
WebShopとALFWorldの異なるバックボーンによる実験では、TRIALは、バックボーン、環境、評価指標の8つの組み合わせでGRPOを上回っている。
論文 参考訳（メタデータ） (2026-08-07T16:12:58Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-04-16T17:39:33Z) - Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。
動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。
提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
論文 参考訳（メタデータ） (2024-08-30T15:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。