論文の概要: TSBPO: Tree-Structured Branching for Policy Optimization in Interactive Language Agents
- arxiv url: http://arxiv.org/abs/2610.41697v1
- Date: Fri, 30 Oct 2026 13:04:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.71452
- Title: TSBPO: Tree-Structured Branching for Policy Optimization in Interactive Language Agents
- Title（参考訳）: TSBPO:対話型言語エージェントにおけるポリシー最適化のための木構造分岐
- Abstract要約: 対話型言語エージェントのトレーニングには、どのタスクと状態継続をサンプリングするか、決定に遅延フィードバックを割り当てる方法、マルチトークンアクションのトークン損失を集約する方法、という3つの複合的な問題がある。
本稿では,これらの問題に対処する木構造サンプリング更新パラダイムTSBPOを提案する。
- 参考スコア（独自算出の注目度）: 5.1676007380103135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training interactive language agents from terminal outcomes poses three coupled problems: which task and state continuations to sample, how to assign delayed feedback to decisions, and how to aggregate token losses for multi-token actions. We present TSBPO, a tree-structured sampling-to-update paradigm that addresses these problems within one training loop. A likelihood-fitted Root/Branch allocator uses retained task and state evidence to target continuations likely to produce contrasting terminal outcomes under fixed rollout budgets. On the resulting replayed physical trees, trajectory advantages compare immediate sibling segments, while observation-group step advantages compare outcomes at matched task/observation states. The actor then sums clipped token surrogates over each complete response and normalizes across active turns, avoiding response-length averaging in the policy-gradient term. With a Qwen2.5-1.5B actor, fixed checkpoints obtain 97.79% seen and 96.64% unseen stochastic success on ALFWorld and an 81.07% per-episode success rate over six stochastic episodes for each of the 500 WebShop test goals. A WebShop step-term ablation yields 75.93% at the same update-100 evaluation; an ALFWorld aggregation comparison shows higher observed command validity with complete-turn weighting. These results support the evaluated training configuration on two interactive benchmarks.
- Abstract（参考訳）: 対話型言語エージェントを端末結果からトレーニングすることは、どのタスクと状態継続をサンプリングするか、遅延したフィードバックを判断に割り当てる方法、マルチトークンアクションのトークン損失を集計する方法の3つの複合的な問題を引き起こす。
本稿では,これらの問題に対処する木構造サンプリング更新パラダイムTSBPOを提案する。
潜在的に適合したルート/ブランチアロケータは、固定されたロールアウト予算の下でコントラストのある端末結果を生み出す可能性のある継続を目標に、保持されたタスクと状態証拠を使用する。
結果として得られた物理ツリーにおいて、軌道上の優位性は即時兄弟セグメントを比較し、観察群ステップの優位性は一致したタスク/観測状態における結果と比較する。
次にアクターは、カットされたトークンサロゲートを各完全なレスポンスにまとめ、アクティブなターンをまたいで正規化する。
Qwen2.5-1.5Bの俳優で、固定チェックポイントは97.79%、ALFWorldでは96.64%の確率で成功し、500 WebShopテストのゴールごとに6回の確率で81.07%の成功率を記録した。
WebShopの段階的アブレーションは、同じ更新-100評価で75.93%を得る。
これらの結果は、2つの対話型ベンチマークで評価されたトレーニング構成をサポートする。
関連論文リスト
- ProtAgent: Post-Training Compact Protein Tool Agents with Interaction-Level Credit Assignment [59.85337246242935]
タンパク質アノテーション剤は、適切なバイオインフォマティクスツールを選択し、それらのアウトプットを解釈し、最終的な答えで結果のエビデンスを使用する必要がある。
本稿では,教師付き微調整を用いた2段階パイプラインであるProtAgentについて紹介する。
論文 参考訳（メタデータ） (2026-10-24T15:42:13Z) - DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter [39.94868478094406]
報酬を伴う強化学習は、個々のステップについてはほとんど語らない疎い端末報酬に依存します。
デルタTTGを導入し、共有進捗計を用いて再利用可能な進捗信号を学習する。
アクタートレーニング中、フリーズメータの見積もりの変化は、報酬を変更することなく、ステップ間で結果に起因したアドバンテージを推定する。
論文 参考訳（メタデータ） (2026-10-13T03:49:32Z) - Matched-Context Group Policy Optimization for LLM Agent Training [29.227420368176595]
本稿では,すでに収集された軌道から重み付けされた行動嗜好を構築する手法を提案する。
MCGPOはロールアウトデータと各レスポンスのオリジナルの履歴を再利用し、批判なしのトレーニングを保存する。
論文 参考訳（メタデータ） (2026-10-09T15:41:37Z) - Disentangling Task Difficulty from Run-Level Failure in Agent Failure Prediction [1.4952530080205333]
近年のアプローチでは、AUROC値が0.85から0.94の強い予測性能が報告されている。
同一のエージェントによる同じタスクを繰り返し試みるベンチマークについて検討する。
結果の精度だけでなく、捕捉した信号が意図した配置決定をサポートするかどうかによって、故障予測が評価されるべきであることを示す。
論文 参考訳（メタデータ） (2026-10-04T22:17:04Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - Planned Test-Time Scaling with Coordinated Reasoning Paths [83.82104376196268]
独立サンプリングを協調的な協調ポリシーで置き換えるためのテスト時間スケーリングを提案する。
プランナーは各ブランチのソリューションアウトラインを生成し、異なる推論パスに向かってブランチを操縦する。
PTTSは繰り返しサンプリングを厳密に一般化し、スタイリングされた環境では補完的推論モードのカバレッジを確実に促進することを示す。
論文 参考訳（メタデータ） (2026-09-23T05:25:10Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents [22.01777615106231]
Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。
本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。
ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
論文 参考訳（メタデータ） (2026-08-17T06:19:12Z) - Trajectory-Relative Hindsight Distillation for Agentic Reinforcement Learning [22.776663901175663]
本稿では,一貫したターンアライメントプロトコルを備えたトラジェクトリ相対的ヒンドサイト蒸留フレームワークであるTRIALを紹介する。
各決定ターンに対して、TRIALは、その決定が実現した結果の結果を抽出し、通常および後向きの文脈下で同じ反応を評価する。
WebShopとALFWorldの異なるバックボーンによる実験では、TRIALは、バックボーン、環境、評価指標の8つの組み合わせでGRPOを上回っている。
論文 参考訳（メタデータ） (2026-08-07T16:12:58Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-04-16T17:39:33Z) - Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。
動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。
提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
論文 参考訳（メタデータ） (2024-08-30T15:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。