論文の概要: Differentiable Belief-based Opponent Shaping

• arxiv url: http://arxiv.org/abs/2605.29042v1
• Date: Wed, 27 May 2026 19:44:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.350254
• Title: Differentiable Belief-based Opponent Shaping
• Title（参考訳）: 微分可能信念に基づく応答整形
• Authors: Aarav G Sane, Karthik Sivachandran, Rohan Paleja,
• Abstract要約: D-BOS(Dariable Belief-based Opponent Shaping)は、各観測者の信念を正反対の状態として扱う一階法である。 本手法は, 報酬や協調行動ではなく, 信念状態を形作りのターゲットとして扱う。 実証的には、D-BOSは隠れロールゲームでPPOとBBMを上回り、混合モチベーション設定で最大の利益を上げている。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human coordination often relies on the ability to influence the beliefs of others through strategic action. In multi-agent reinforcement learning, opponent shaping attempts to replicate this influence, though existing methods typically operate within an opponent's parameter, policy, or value space. Meanwhile, belief-manipulation techniques in hidden-role games often rely on hard-coded objectives, such as deception or belief saturation. We propose Differentiable Belief-based Opponent Shaping (D-BOS), a first-order method that treats each observer's belief as the shaped opponent state and differentiates through $k$-step softmax-Bayes belief dynamics. Rather than explicitly rewarding deceptive or cooperative behavior, our method treats the belief state as the target for shaping. This allows the optimal strategy to emerge naturally from the environment's reward structure. This belief-space formulation provides an opponent-shaping signal by differentiating through opponent belief updates, and naturally extends to multiple observers by aggregating gradients over their individual inferred belief trajectories. Empirically, D-BOS outperforms PPO and BBM in hidden-role games, with the largest gains in mixed-motive settings.
• Abstract（参考訳）: 人間の協調はしばしば、戦略的行動を通じて他人の信念に影響を与える能力に依存している。 マルチエージェント強化学習では、既存の手法は通常、相手のパラメータ、ポリシー、または値空間内で機能するが、相手のシェーピングはこの影響を再現しようとする。 一方、隠されたロールゲームにおける信念の操作技術は、しばしば騙しや信念の飽和といったハードコードされた目的に依存している。 我々は,各オブザーバの信念を形状の反対状態として扱い,$k$-step Softmax-Bayesの信念ダイナミクスを通じて識別する一階法であるD-BOS(diffariable Belief-based Opponent Shaping)を提案する。 本手法は, 詐欺行為や協調行動に明示的に報いるのではなく, 信念状態を形作りのターゲットとして扱う。 これにより、最適な戦略が環境の報酬構造から自然に現れる。 この信念空間の定式化は、反対の信念更新を微分することによって反対の形状信号を提供し、自然に複数の観察者に対して、個々の推論された信念軌跡の勾配を集約することによって拡張する。 実証的には、D-BOSは隠れロールゲームでPPOとBBMを上回り、混合モチベーション設定で最大の利益を上げている。

関連論文リスト

• Enhancing Language Agent Strategic Reasoning through Self-Play in Adversarial Games [60.213483076150844]
  本稿では,PLAY-And-Learn,SCO-PALを用いたステップレベルのポリCy最適化手法を提案する。 対戦相手を異なるレベルに設定することで、対戦相手の選択を詳細に分析し、戦略的推論を改善する最も効果的な方法が自己プレーであることを見出した。 我々は6試合でGPT-4に対して54.76%の勝利率を達成した。
  論文  参考訳（メタデータ） (2025-10-19T09:03:28Z)
• Deceptive Sequential Decision-Making via Regularized Policy Optimization [54.38738815697299]
  我々は,自律的なシステムをマルコフ決定プロセスとしてモデル化し,逆強化学習を用いて報酬関数を復元する。 本稿では,システム報酬に対する敵意を積極的に欺く政策合成問題に対する3つの規則化戦略を示す。 我々は,その最適かつ非知覚的価値の少なくとも97%の累積報酬を達成しつつ,反逆的,標的的,公平な詐欺が虚偽の信念に逆らうことを示している。
  論文  参考訳（メタデータ） (2025-01-30T23:41:40Z)
• Preference-based opponent shaping in differentiable games [3.373994463906893]
  そこで我々は,エージェントの嗜好を協調に向けて形作ることによって,戦略学習プロセスを強化するためのPBOS法を提案する。 様々な異なるゲームにおいてPBOSアルゴリズムの性能を検証する。
  論文  参考訳（メタデータ） (2024-12-04T06:49:21Z)
• A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
  人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。 我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。 我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-08T17:55:02Z)
• Scaling Opponent Shaping to High Dimensional Games [17.27358464280679]
  時間的に拡張されたアクションと長時間の水平線を持つ汎用ゲームに対するOSベースのアプローチを開発する。 文献からの難易度の設定において,Shaperは個人的,集団的成果の向上につながることを示す。
  論文  参考訳（メタデータ） (2023-12-19T20:05:23Z)
• Cooperation or Competition: Avoiding Player Domination for Multi-Target Robustness via Adaptive Budgets [76.20705291443208]
  我々は、敵攻撃を、異なるプレイヤーがパラメータ更新の合同方向で合意に達するために交渉する交渉ゲームであると見なしている。 我々は、プレイヤーの優位性を避けるために、異なる敵の予算を調整する新しいフレームワークを設計する。 標準ベンチマークの実験では、提案したフレームワークを既存のアプローチに適用することで、マルチターゲットロバスト性が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-06-27T14:02:10Z)
• Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning [131.1852444489217]
  本稿では,オブジェクト認識方式で模倣ポリシーを標準化する手法として,オブジェクト認識型RegularizatiOn(OREO)を提案する。 我々の主な考えは、政策が専門家の行動と強く相関するニュアンス変数を悪用することを防ぐために、政策が全ての意味オブジェクトに均一に出席することを奨励することである。
  論文  参考訳（メタデータ） (2021-10-27T01:56:23Z)
• Model-Based Opponent Modeling [20.701733377216932]
  環境モデルを用いたモデルベース対戦相手モデリング(MBOM)を提案する。 MBOMは、競争環境や協調環境において、既存の手法よりも効果的な適応を実現している。
  論文  参考訳（メタデータ） (2021-08-04T04:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。