論文の概要: Safe Equilibrium Policy Optimization for Strategic Agent Policies

• arxiv url: http://arxiv.org/abs/2605.30854v1
• Date: Fri, 29 May 2026 05:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.399592
• Title: Safe Equilibrium Policy Optimization for Strategic Agent Policies
• Title（参考訳）: 戦略エージェント政策のための安全平衡政策最適化
• Abstract要約: 安全均衡政策最適化(sepo)を提案する。これは、エクスプロイラビリティ、共謀リスク、外部性コストに対する明確な罰則によって、期待される支払いを増大させる訓練目標である。 セポはクーンポーカーの2つのモデルに対するエクスプロイトプールの利点をゼロにし、4つのドメインの安全性でベースモデルを上回り、SFTが導入した過剰な協調行動を修正する。
• 参考スコア（独自算出の注目度）: 0.11845715177807985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models fine-tuned with reinforcement learning typically optimize for task reward, ignoring multi-agent strategic structure. Because these agents condition on natural language game-state descriptions and emit actions through free-form generation, strategic failure modes -- exploiting weaker opponents, coordinating on harmful equilibria, and externalizing costs are inseparable from the language interface itself. We propose Safe Equilibrium Policy Optimization (\sepo{}), a training objective that augments expected payoff with explicit penalties for exploitability, collusion risk, and externality cost. We implement \sepo{} as a reward signal for Group Relative Policy Optimization (GRPO), applied to Gemma~4 E4B-it and Qwen~3.5-4B after supervised fine-tuning (SFT). Evaluated across five strategic domains: Iterated Prisoner's Dilemma, repeated auctions, two negotiation variants, and Kuhn Poker. \sepo{} achieves zero exploit-pool advantage in Kuhn Poker for both models, outperforms the base model on safety in four domains, and corrects the over-cooperative behavior introduced by SFT. In negotiation, \sepo{} achieves a positive-safety outcome and only the positive normalized relative advantage of any negotiation configuration. Ablation experiments confirm that per-rollout exploit computation is necessary: a shared constant penalty cancels in GRPO advantage normalization (constant control-variate property), producing zero gradient. To support further research in strategic safety for agents, we release our \href{https://anonymous.4open.science/r/sepo-2668/README.md}{code} and SFT datasets.
• Abstract（参考訳）: 強化学習で微調整された言語モデルは、通常、マルチエージェントの戦略構造を無視して、タスク報酬を最適化する。 これらのエージェントは、自然言語のゲーム状態の記述を条件とし、フリーフォーム生成を通じてアクションを発行するので、戦略的な失敗モード -- 弱い相手を悪用し、不適切な均衡を調整し、外部化コストは言語インターフェース自身とは分離できない。 本稿では, 安全平衡政策最適化(\sepo{})を提案する。これは, エクスプロイラビリティ, 衝突リスク, 外部性コストに対する明確な罰則によって, 期待される報酬を増大させる訓練目標である。 グループ相対政策最適化 (GRPO) の報奨信号として 'sepo{} を実装し, 教師付き微調整 (SFT) 後に Gemma~4 E4B-it および Qwen~3.5-4B に適用した。 反復囚人のジレンマ、繰り返しのオークション、2つの交渉の変種、クーン・ポーカーの5つの戦略的領域で評価された。 \sepo{} はクーン・ポーカーの2つのモデルに対するゼロエクスプロイト・プールの利点を達成し、4つの領域の安全性においてベースモデルより優れ、SFT が導入した過剰な協調行動を修正する。 ネゴシエーションにおいて、 'sepo{} は、任意のネゴシエーション構成の正の安全結果と正の正規化相対的優位性のみを達成する。 共有定数ペナルティはGRPOの優位性正規化(定数制御-変量特性)においてキャンセルされ、勾配はゼロとなる。 エージェントの戦略的安全性に関するさらなる研究を支援するため、我々の \href{https://anonymous.4open.science/r/sepo-2668/README.md}{code} と SFT データセットをリリースする。

関連論文リスト

• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles [35.88280776565273]
  POETSは不確実性定量化と政策最適化を橋渡しする新しいフレームワークである。 我々のアプローチは、KL(Kulback-Leibler)正規化で訓練されたポリシーが、基礎となる報酬関数を暗黙的にエンコードするという知見に基づいている。 我々はPOETSが様々な科学的発見領域にまたがって最先端のサンプル効率を実現することを実証する。
  論文  参考訳（メタデータ） (2026-05-08T14:16:32Z)
• Optimistic Policy Learning under Pessimistic Adversaries with Regret and Violation Guarantees [6.310266319378214]
  実世界の意思決定システムは、状態遷移がエージェントの行動に依存する環境で機能する。 Standard Constrained MDP の定式化は、エージェントが状態進化の唯一のドライバであると仮定する。 エージェントポリシーと敵ポリシーの両方に対する楽観性を維持するモデルベースアルゴリズムであるtextbfRobust Hallucinated Constrained Upper-Confidence RL (textttRHC-UCRL) を提案する。
  論文  参考訳（メタデータ） (2026-04-15T04:53:29Z)
• Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
  貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。 本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。 この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
  論文  参考訳（メタデータ） (2026-04-10T03:04:20Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• ResT: Reshaping Token-Level Policy Gradients for Tool-Use Large Language Models [62.82372407840088]
  大規模言語モデル(LLM)は受動的生成を超越し、外部ツールを呼び出すことで目標指向エージェントとして機能する。 textbfReshaped textbfToken-level policy gradients (textbfResT) for tool-use task。 textbfResTは最先端の結果を達成し、以前のメソッドを最大8.76%$で上回っている。
  論文  参考訳（メタデータ） (2025-09-26T03:38:27Z)
• Reasoning through Exploration: A Reinforcement Learning Framework for Robust Function Calling [35.97270347306353]
  グループ相対政策最適化(GRPO)に基づく新しいRLフレームワークである textbfEGPO を提案する。 EGPOの中核はエントロピー強化の利点関数であり、モデルのChain-of-Thought(CoT)のエントロピーをポリシー勾配に統合する。 挑戦的なBFCL(Berkeley Function Calling Leaderboard)では、EGPOでトレーニングされた4Bパラメータモデルが、同等サイズのモデルの間で新たな最先端を設定している。
  論文  参考訳（メタデータ） (2025-08-07T07:51:38Z)
• Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions [145.54544979467872]
  本研究では,ゼロサムマルコフゲームに対して,構造的だが未知の遷移を伴う架空のプレイポリシー最適化アルゴリズムを提案し,解析する。 我々は、2年制の競争ゲームシナリオで、$K$のエピソードに続き、$widetildemathcalO(sqrtK)$ regret boundsを証明した。 提案アルゴリズムは,アッパー信頼境界(UCB)型最適化と,同時政策最適化の範囲内での架空のプレイの組み合わせを特徴とする。
  論文  参考訳（メタデータ） (2022-07-25T18:29:16Z)
• Bayesian Robust Optimization for Imitation Learning [34.40385583372232]
  逆強化学習は、パラメータ化された報酬関数を学習することにより、新しい状態への一般化を可能にする。 既存のIRLに基づく安全な模倣学習アプローチは、maxminフレームワークを使用してこの不確実性に対処する。 BROILは、リターン最大化とリスク最小化の動作を補間する自然な方法を提供する。
  論文  参考訳（メタデータ） (2020-07-24T01:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。