論文の概要: BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents

• arxiv url: http://arxiv.org/abs/2606.25556v1
• Date: Wed, 24 Jun 2026 08:32:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.280167
• Title: BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents
• Title（参考訳）: BiPACE: LLMエージェントの行動対実推定によるビシミュレーション誘導型ポリシー最適化
• Abstract要約: ステップワイズグループベースのRLは、学習評論家なしで長期のLDMエージェントを訓練する魅力的な方法である。 現在のエージェントの変種は、状態-アクションの信用ミスマッチによってこの仮定に反することを示す。 批判や補助的な損失、余分なロールアウトを加えることなく、双方を修正できる、ドロップインの利点推定ツールであるBiPACEを紹介します。
• 参考スコア（独自算出の注目度）: 10.767742708000897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stepwise group-based RL is an attractive way to train long-horizon LLM agents without a learned critic: it reuses multiple sampled rollouts to estimate local advantages. Its weakness is less visible but more fundamental: every group-relative estimator assumes that the steps it compares are equivalent for credit assignment. We show that current agentic variants violate this assumption through a state-action credit mismatch. The observation-hash partition is overly fine on the state side, creating singleton groups with zero step-level signal, while a single within-group mean is too coarse on the action side, mixing state-value estimation with action-specific credit. We introduce BiPACE (Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation), a drop-in advantage estimator that fixes both sides without adding a critic, auxiliary loss, or extra rollouts. BiGPO clusters steps by cosine distance in the actor's own hidden-state geometry, an empirical policy-induced proxy for bisimulation that substantially lowers the singleton rate left by observation hashing. PACE then recenters returns within each behavioral cluster using action-conditioned peer baselines; its Q-style instance estimates a local Q(s,a)-V(s) nonparametrically. On ALFWorld/Qwen2.5-7B, BiPACE_Q raises overall validation success from GiGPO's 90.8 to $97.1\pm0.9$ over three seeds, and crosses the 95% threshold on every seed, which GiGPO never does within the same budget. On Qwen2.5-1.5B it reaches $93.5\pm1.2$ versus GiGPO's 86.7, and on WebShop and TextCraft it improves over GRPO and GiGPO at both model scales. The measured BiPACE-specific overhead is 11.3% of a single training-step wall time. Yet it changes the estimator's comparison unit from surface identity to approximate behavioral equivalence plus action-side counterfactuals. The code is available at https://github.com/TianxiangZhao/BiPACE.
• Abstract（参考訳）: ステップワイズグループベースのRLは、LLMエージェントを学習評論家なしで訓練する魅力的な方法であり、複数のサンプルロールアウトを再利用して局所的な利点を推定する。 すべての群相対推定器は、比較するステップがクレジット代入に等しいと仮定する。 現状のエージェント的変種は、ステートアクションの信用ミスマッチによってこの仮定に違反していることを示す。 観測ハッシュ分割は状態側では過度に良好であり、ステップレベルの信号がゼロのシングルトングループを生成する一方、単一の内部グループ平均はアクション側では粗いので、状態値推定とアクション固有のクレジットを混合する。 BiPACE(Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation)は,批判や補助的損失,余分なロールアウトを伴わずに,両面の修正を行うドロップイン・アドバンテージ推定器である。 BiGPOクラスタは、アクター自身の隠れ状態幾何学におけるコサイン距離をステップし、バイシミュレーションのための実証的なポリシーによって引き起こされるプロキシで、観察ハッシュによって残されるシングルトンレートを著しく低下させる。 PACEは、アクション条件付きピアベースラインを使用して各行動クラスタ内で戻り、Qスタイルのインスタンスは、局所的なQ(s,a)-V(s)を非パラメトリックに推定する。 ALFWorld/Qwen2.5-7B では、BiPACE_Q は GiGPO の 90.8 から 97.1\pm0.9$ の3つの種に対する総合的な検証成功を高め、GiGPO が全く同じ予算で行わないすべての種に対して95%の閾値を超えた。 Qwen2.5-1.5B では GiGPO の 86.7 に対して 93.5\pm1.2$ に達し、WebShop と TextCraft では GRPO と GiGPO よりも両モデルスケールで改善されている。 測定されたBiPACE固有のオーバーヘッドは、単一のトレーニングステップの壁時間の11.3%である。 しかし、これは推定器の比較単位を、表面の同一性から、行動等価性と作用側反事実に変化させる。 コードはhttps://github.com/TianxiangZhao/BiPACEで入手できる。

関連論文リスト

• OR Else: A Differentiable Trust Region for Policy Optimization [2.51067108081605]
  我々は、スムーズな片側飽和ルールである出力リセット(OR)が、大規模言語モデルのポストトレーニングに有用な代替手段であるかどうかを問う。 PPO-Clip と PPO-OR をGAE で比較し,GRPO-OR とGRPO-OR をグループ相対的優位性で比較した。
  論文  参考訳（メタデータ） (2026-07-20T17:07:40Z)
• Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning [14.640786318359709]
  Branching Policy Optimization (BPO)は、サンドボックス固有のRLアルゴリズムで、バックボーン軌道に沿って高いエントロピー決定ポイントでサンドボックスをスナップショットする。 我々は、この推定器が非バイアスであり、軌跡レベルベースラインよりも厳密に分散が小さいことを証明した。 BPO は GRPO と RLOO の3.6--6.1 の絶対点が一致した計算で成功し、勾配-ノルムの分散を半減させ、ポリシー更新を38%減らして最良のベースラインと一致させる。
  論文  参考訳（メタデータ） (2026-07-15T09:37:36Z)
• Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models [0.0]
  グループ相対政策最適化は、推論タスク上で言語モデルを整合させる効果的な強化学習アルゴリズムとして登場した。 本稿では,Adaptive-Horizon GRPOとSelective-Advantage AH-GRPOの2つの補完拡張を導入する。 解析の結果、非対称割引は正しい解の完全な勾配信号を保持し、エントロピー崩壊を防止し、トレーニングを著しく安定化させることがわかった。
  論文  参考訳（メタデータ） (2026-06-03T20:57:57Z)
• Robust Multi-Agent Path Finding under Observation Attacks: A Principled Adversarial-Plus-Smoothing Training Recipe [0.0]
  同一ネットワークと同一デプロイメントループを保持する2つのトレーニングレシピを提示するが、ポリシーは混乱した観察の下で維持される。 最初のレシピであるAdv-PPOは、自身の入力の最悪ケース摂動に対する共有ポリシーを訓練し、敵の摂動下でのパフォーマンスによってチェックポイントを選択する。 第二のレシピであるAdv-PPO+MACER(英語版)は、ランダム化平滑化の証明された半径に従って勾配が続く小さな政治上の滑らかさ項のチェックポイントである。
  論文  参考訳（メタデータ） (2026-05-12T03:33:34Z)
• Signal Reshaping for GRPO in Weak-Feedback Agentic Code Repair [36.31472731207028]
  このようなフィードバックの下で,標準GRPOの信号再構成について検討する。 完全な信号整形GRPOは、厳密なコンパイルとシーケンスの精度を改善する。
  論文  参考訳（メタデータ） (2026-05-08T05:41:25Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Hierarchy-of-Groups Policy Optimization for Long-Horizon Agentic Tasks [23.119173310662365]
  グループベース強化学習(RL)は、長期エージェントタスクにおける大規模言語モデルの能力を向上させる。 私たちは、ステップワイドな相対的優位性、すなわち、同じグループ内のステップが歴史的な文脈で異なる場合のコンテキスト不整合を推定する上で、重要な問題を見つけます。 歴史的文脈の整合性に応じて各ステップを複数の階層群に割り当てるHGPOを提案する。
  論文  参考訳（メタデータ） (2026-02-26T09:58:10Z)
• Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
  そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。 クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。 我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
  論文  参考訳（メタデータ） (2026-02-05T14:16:47Z)
• ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
  ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。 そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。 また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:16Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)
• Optimal Clustering with Bandit Feedback [57.672609011609886]
  本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。 これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。 合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T06:05:05Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。