論文の概要: When Does Opponent Modeling Pay Off? Spatial Inference Stabilises Reinforcement Learning under Partial Observability

• arxiv url: http://arxiv.org/abs/2610.18229v1
• Date: Tue, 13 Oct 2026 11:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:46:28.361179
• Title: When Does Opponent Modeling Pay Off? Spatial Inference Stabilises Reinforcement Learning under Partial Observability
• Title（参考訳）: 対向モデリングはいつ有効になるか? 空間的推論は部分的可観測性の下で強化学習を安定化させる
• Abstract要約: 部分的に観察可能な競争ゲームにおける深い強化学習エージェントは、目に見えない相手の意図についての信念に基づいて行動しなければならない。 本研究では,空間的対向モデルについて検討し,後向きの対向目標を用いて学習したトランスフォーマーを用いて,対向の観測軌道からサブゴールヒートマップを出力する。 我々は、対向ゴール推論は、測定可能な境界条件によって値が支配される安定性と伝達機構である、と結論づける。
• 参考スコア（独自算出の注目度）: 1.439518478021091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning agents in partially observable competitive games must act on beliefs about an unseen opponent's intent. We study a spatial opponent model: a transformer trained with hindsight-relabelled opponent goals that outputs a subgoal heatmap from the opponent's observed trajectory, fused early into a dueling double DQN. In symmetric constant-sum foraging games with partial observability, the module stabilises training. Plain TD(0) DQN suffers degenerate seeds in three of four one-step configurations, whereas the opponent-model agent never collapses and, wherever training succeeds, recovers the majority of the symmetric game value. Transfers zero-shot to a foraging opponent unseen by the learner, with a positive goal advantage over the baseline, and loses this edge exactly where an information argument predicts: against a full-information tracking adversary whose intent is the learner itself, and on resource-dense maps where both agents saturate. A blindfold ablation, zeroing the heatmap at deployment, decomposes the advantage into two mechanisms: training-time stabilisation, which dominates where the credit assignment is hard and survives blinding on the dense map, and deployment-time inference, whose reliance shrinks as fog thins on the sparse map. We conclude that opponent-goal inference is a stability-and-transfer mechanism whose value is governed by measurable boundary conditions: visibility (fog thickness), opponent intent, and resource density.
• Abstract（参考訳）: 部分的に観察可能な競争ゲームにおける深い強化学習エージェントは、目に見えない相手の意図についての信念に基づいて行動しなければならない。 本研究では, 空間的対向モデルについて検討する: 後向きの対向目標を用いて訓練された変換器は, 相手の観測軌道からサブゴール熱マップを出力し, 早期に二重DQNに融合する。 部分可観測性を持つ対称定数サム鍛造ゲームでは、モジュールはトレーニングを安定化させる。 通常のTD(0) DQNは4つの1ステップ構成のうち3つの退化種に悩まされるが、相手モデルエージェントは崩壊せず、トレーニングが成功すると、対称ゲーム値の多数を回復する。 ゼロショットは、学習者が目に見えない偽造相手に転送し、ベースラインよりも肯定的なゴールの優位性を持ち、情報議論が予測する場所、すなわち学習者自体が意図している全情報追跡敵に対して、両方のエージェントが飽和するリソース密度マップにおいて、このエッジを失う。 ブラインドフォールドアブレーションは、デプロイ時にヒートマップをゼロにするが、アドバンテージを2つのメカニズムに分解する。 我々は、対向ゴール推論は、可視性(霧の厚み)、対向意図、資源密度といった測定可能な境界条件によって、値が支配される安定性と伝達機構である、と結論付けた。

関連論文リスト

• What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
  共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。 生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。 我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:08:31Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Hierarchical Belief Modeling for Zero-Shot Opponent Adaptation in Partially Observable Multi-Agent Navigation [9.529619955597216]
  Lux AI 第3シーズンでは、エージェントは部分観測可能性、ランダム化されたエピソードレベルのダイナミクス、そして戦術実行と迅速な適応の両方に報酬を与える5つのマッチ構造の下で行動する必要がある。 本稿では,対称性を意識した空間認識,二重メモリの信念追跡,中心的な残差グラフの注目,情報ゲイン駆動探索,および反対条件付き政策混合を組み合わせた階層型エージェントであるHoriZONを提案する。
  論文  参考訳（メタデータ） (2026-09-11T04:17:38Z)
• A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry [0.3384279376065155]
  我々は、プライベート情報が両方の方向に流れるとき、AIエージェントのランタイムヒューマン監視について研究する。 これは、自律ロボットやソフトウェアエージェントが人間の監督者が直接評価できない状況を検査した時に自然に発生する非対称性の一種である。 両面の非対称情報とプレイ/アズク/トラスト/オーバーシーインタフェースを備えたコンテキストバンド型チームゲームを導入する。
  論文  参考訳（メタデータ） (2026-06-30T20:30:01Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Enhancing Robust Representation in Adversarial Training: Alignment and Exclusion Criteria [61.048842737581865]
  対人訓練 (AT) は, 頑健な特徴の学習を省略し, 対人的頑健さの低下を招いた。 非対称な負のコントラストと逆の注意によって、頑健な表現を得るためのATの一般的なフレームワークを提案する。 3つのベンチマークデータセットの実証評価により,ATの堅牢性を大幅に向上し,最先端の性能を実現することができた。
  論文  参考訳（メタデータ） (2023-10-05T07:29:29Z)
• Learning in two-player games between transparent opponents [0.0]
  2つの強化学習エージェントが互いにマトリックスゲームを繰り返すシナリオを考察する。 エージェントの意思決定は互いに透明であり、各エージェントはそれぞれのエージェントに対してどのように対戦するかを予測することができる。 その結果, 相互透明な意思決定と対人意識学習の組み合わせが, 単発受刑者のジレンマにおける相互協力に強く寄与していることが判明した。
  論文  参考訳（メタデータ） (2020-12-04T15:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。