論文の概要: SIPO: Selective-Inference Policy Optimization for Tree-Structured Agentic RL
- arxiv url: http://arxiv.org/abs/2609.34805v1
- Date: Mon, 28 Sep 2026 10:09:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 02:41:33.865103
- Title: SIPO: Selective-Inference Policy Optimization for Tree-Structured Agentic RL
- Title（参考訳）: SIPO:木構造エージェントRLの選択推論ポリシー最適化
- Abstract要約: 本稿では、この区別をツリーベースの信用評価に組み込んだ選択推論ポリシー最適化(SIPO)を提案する。
そのスケールのない分岐基準は、一貫した相対的なスケールで生成スコアと兄弟のペナルティを保持する。
SIPOは比較手法の中で最も高いマルチホップとシングルホップの平均を達成している。
- 参考スコア（独自算出の注目度）: 23.46401628317993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree-structured reinforcement learning trains search agents by comparing alternative continuations and propagating terminal rewards to intermediate decisions. Adaptive expansion, however, creates a statistical asymmetry: an incumbent is selected using its own generation statistic, whereas fresh siblings are sampled after selection. When that statistic is associated with return, branch values can reflect selection history as well as continuation quality, even for a shared parent. We propose Selective-Inference Policy Optimization (\SIPO{}), which incorporates this distinction into tree-based credit estimation. Its scale-free branch criterion keeps generation scores and sibling penalties on a consistent relative scale; exchangeable branching supplies multiple fresh continuations from each selected parent; and order-statistic correction adjusts retained incumbent values using selection rank and the estimated score--outcome association. These mechanisms preserve the leaf budget and the host policy optimisation objective. Across seven QA benchmarks using Qwen3-4B, Qwen3-8B, and Qwen2.5-7B, \SIPO{} achieves the highest reported multi-hop and single-hop averages among the compared methods. On Qwen3-8B, it improves these averages over AT\textsuperscript{2}PO by $1.31$ and $1.07$ percentage points, respectively, and ranks first on six of seven benchmarks. Component ablations evaluate the individual and combined changes, while early-training paired diagnostics show a selected--fresh value gap alongside a near-zero fresh--fresh reference. Together, these results support accounting for selection history when constructing and evaluating search-agent rollouts. Our code is available at https://github.com/Zenghuang-Fu/SIPO
- Abstract（参考訳）: 木構造強化学習は、代替的継続と中間決定に対する終末報酬の伝播を比較して、探索エージェントを訓練する。
しかし、適応的な展開は統計的な非対称性を生み出し、現像体は自身の世代統計を用いて選択され、一方、新しい兄弟は選択後にサンプリングされる。
その統計が戻り値に関連付けられている場合、分岐値は選択履歴と継続品質を反映することができる。
本稿では、この区別をツリーベースの信用評価に組み込んだ選択推論ポリシー最適化(\SIPO{})を提案する。
そのスケールフリー分岐基準は、一貫した相対的なスケールで生成スコアと兄弟のペナルティを保持し、交換可能な分岐は、選択された親から複数の新しい継続を提供する。
これらのメカニズムは、葉の予算とホストポリシーの最適化目標を保存する。
Qwen3-4B, Qwen3-8B, Qwen2.5-7Bを用いた7つのQAベンチマークにおいて, 比較手法の中で最も高いマルチホップおよびシングルホップ平均を達成した。
Qwen3-8Bでは、これらの平均値をAT\textsuperscript{2}POに対してそれぞれ1.31ドルと1.07ドルのパーセンテージで改善し、7つのベンチマークのうち6つにランク付けする。
一方、早期学習のペア診断では、ほぼゼロのフレッシュ参照とともに、選択されたフレッシュ値のギャップが示される。
これらの結果は、検索エージェントのロールアウトの構築と評価において、選択履歴の会計をサポートする。
私たちのコードはhttps://github.com/Zenghuang-Fu/SIPOで利用可能です。
関連論文リスト
- Equivariant Neural Primal-Dual Assignment for Maximum Common Edge Subgraphs [16.0495191098223]
分子類似性探索には多くのグラフ対をマッチングする必要がある。
Equivariant Neural Primal-Dual Assignment (ENPDA)を紹介する。
ENPDAは共有マッチングポリシーを学び、さらなるトレーニングなしに新しいペアに適用する。
論文 参考訳（メタデータ） (2026-09-26T14:19:12Z) - Token Utility Is Selection-Conditioned: Coupled Selection of Prompt Context and Response Supervision for Efficient Instruction Tuning [11.796634827510323]
BRIDGEは、共有バリデーション指向のインタラクションサロゲートを通じて選択条件付きトークンユーティリティをキャプチャする。
構造認識プロジェクションは条件応答スコアをコヒーレントな監視スパンに変換する。
BRIDGEは、数学的推論、コード生成、命令フォローにおける全体的な選択方法の比較を導く。
論文 参考訳（メタデータ） (2026-09-19T10:46:58Z) - Contrastive Branch Policy Optimization [16.16893757028268]
検証可能な報酬(RLVR)による強化学習は、言語モデルが外部ツールとのマルチターンインタラクションを学習することを可能にする。
既存の方法は、固定されたロールアウト予算を割り当て、分岐結果をトークンレベルのクレジットに変換する、という2つの異なる問題を分割する傾向があります。
本稿では,この2つの問題を解消し,それぞれに専用のメカニズムを割り当てる,コントラスト分岐政策最適化(CBPO)を紹介する。
論文 参考訳（メタデータ） (2026-08-25T09:25:55Z) - Harness-G: A Graph-Structured Harness for Search Agents [17.554676400013424]
強化学習(RL)検索エージェントは、検索を自由形式の自然言語クエリ生成としてモデル化する。
本稿では,このインタフェースを再設計するグラフ構造化検索フレームワークであるHarness-Gを提案する。
フリーフォームクエリ生成を有限アクション選択として再構成し、環境はメニューを構築し、検索状態を追跡し、それぞれの選択を検証、実行します。
両方の評価されたモデルスケールでF1の平均値が最も高く、最強のベースラインであるGraph-R1を1.5Bで10.74点、3Bで3.98点で上回っている。
論文 参考訳（メタデータ） (2026-07-30T04:05:05Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。
BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
論文 参考訳（メタデータ） (2026-05-19T10:59:19Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T04:52:33Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳（メタデータ） (2023-07-27T07:42:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。