論文の概要: Learning Rewards in Strategic Games

• arxiv url: http://arxiv.org/abs/2610.21912v1
• Date: Thu, 15 Oct 2026 13:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.101175
• Title: Learning Rewards in Strategic Games
• Title（参考訳）: 戦略ゲームにおけるリワードの学習
• Abstract要約: 本稿では,2人のプレイヤーが繰り返し行うStackelbergゲームに対するアクティブIRLアルゴリズムを提案する。 学習報酬によって引き起こされるスタックルバーグの準最適性に対する有限サンプル保証を導出し、新しいミニマックス学習レートがK-1/2$となる多対数因子に適合する。
• 参考スコア（独自算出の注目度）: 9.485930721731535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the objectives that drive agents' behavior is crucial in strategic environments, where multiple agents interact and adapt to one another. This challenge arises in domains such as cybersecurity, autonomous driving, and online markets, where agents' underlying incentives are typically unknown and must be inferred from their observed behavior. Inverse reinforcement learning (IRL) provides a natural framework for this problem, but extending IRL to strategic multi-agent settings introduces a fundamental challenge: a reward that explains observed behavior does not necessarily induce optimal strategies when used for decision-making. In this work, we study this problem through the lens of \emph{strategic identifiability}, and show that learning from a fixed policy pair can be insufficient to strategically identify rewards, independent of the number of expert samples $K$. Motivated by this, we introduce an active IRL algorithm for two-player repeated Stackelberg games, in which the leader adaptively selects policies to elicit informative responses about the follower's reward. Combining maximum-likelihood estimation with experimental design, we derive finite-sample guarantees on the Stackelberg sub-optimality induced by the learned reward, matching up to polylogarithmic factors a new minimax learning rate of $K^{-1/2}$. Finally, we evaluate our approach in a realistic anti-poaching setting, demonstrating the benefits of active exploration for reward recovery and downstream strategic performance.
• Abstract（参考訳）: エージェントの行動を促進する目的を理解することは、複数のエージェントが相互作用し、互いに適応する戦略的環境において不可欠である。 この課題は、サイバーセキュリティ、自動運転、オンライン市場といったドメインで発生し、エージェントの根底にあるインセンティブは通常不明であり、観察された行動から推測されなければならない。 逆強化学習(IRL)は、この問題に自然な枠組みを提供するが、IRLを戦略的マルチエージェント設定に拡張することは、基本的な課題をもたらす。 本研究では,この問題を,emph{strategic identifiability} のレンズを用いて研究し,固定されたポリシーペアから学ぶことは,専門家のサンプル数によらず,戦略的に報酬を識別するには不十分であることを示す。 そこで我々は,2人繰り返しのStackelbergゲームに対するアクティブIRLアルゴリズムを導入する。 最大線量推定と実験設計を組み合わせることで、学習報酬によって引き起こされるスタックルバーグの準最適性に対する有限サンプル保証を導出し、新しい最小値学習率であるK^{-1/2}$に適合する。 最後に,本手法を現実的なアンチ・ポーチ・セッティングで評価し,報酬回復と下流戦略性能に対する積極的な探索の利点を実証した。

関連論文リスト

• AIPO: Learning to Reason from Active Interaction [54.10819421625103]
  AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。 AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
  論文  参考訳（メタデータ） (2026-05-08T19:06:55Z)
• Decoding Rewards in Competitive Games: Inverse Game Theory with Entropy Regularization [52.74762030521324]
  本稿では,観察行動から報酬関数を学習するための新しいアルゴリズムを提案する。 我々は,アルゴリズムの信頼性とサンプル効率について,強力な理論的保証を提供する。
  論文  参考訳（メタデータ） (2026-01-19T04:12:51Z)
• Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs [126.45104018441698]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練後の中心パラダイムとなっている。 この失敗は、解の集合の多様性よりもむしろ局所的なトークンの振る舞いを規則化することに起因すると我々は主張する。 我々は,まれなハイレベル戦略を示す正しいソリューションを明示的に報酬する,ロールアウトレベルの目標であるUniqueness-Aware Reinforcement Learningを提案する。
  論文  参考訳（メタデータ） (2026-01-13T17:48:43Z)
• LLM-Driven Intrinsic Motivation for Sparse Reward Reinforcement Learning [0.27528170226206433]
  本稿では,過度な報酬を伴う環境下での学習エージェントの効率向上を目的とした,本質的なモチベーション戦略の2つの組み合わせについて検討する。 本稿では,変分自動エンコーダ(VAE)の報奨状態の新規性を,大言語モデル(LLM)から派生した帰納的報奨手法を用いて,変分状態を内在的リワード(VSIMR)として統合することを提案する。 実験の結果, この組み合わせ戦略は, 各戦略を個別に使用した場合と比較して, エージェント性能と効率を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-25T19:10:58Z)
• Learning to Lead: Incentivizing Strategic Agents in the Dark [50.93875404941184]
  一般化プリンシパルエージェントモデルのオンライン学習バージョンについて検討する。 この挑戦的な設定のための最初の証明可能なサンプル効率アルゴリズムを開発した。 我々は、プリンシパルの最適ポリシーを学ぶために、ほぼ最適な $tildeO(sqrtT) $ regret bound を確立する。
  論文  参考訳（メタデータ） (2025-06-10T04:25:04Z)
• Influence-based Reinforcement Learning for Intrinsically-motivated Agents [0.0]
  2つの強化学習エージェントのアルゴリズム的枠組みをそれぞれ異なる目的で提示する。 我々は,ある政策が他者に与える影響を評価するために,新たな関数近似手法を導入する。 本手法は,オープンAI体育館における課題と,協調的・混合的なシナリオについて検討した。
  論文  参考訳（メタデータ） (2021-08-28T05:36:10Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)
• Self Punishment and Reward Backfill for Deep Q-Learning [6.572828651397661]
  強化学習エージェントは、通常環境によって提供される全報酬を最大化する行動を促すことで学習する。 多くの環境では、報酬は個々のアクションではなく一連のアクションの後に提供され、エージェントはそれらのアクションが有効かどうかという点であいまいさを経験する。 本研究では,行動心理学にインスパイアされた2つの戦略を提案する。
  論文  参考訳（メタデータ） (2020-04-10T11:53:11Z)
• Joint Goal and Strategy Inference across Heterogeneous Demonstrators via Reward Network Distillation [1.1470070927586016]
  逆強化学習(IRL)は、容易に達成された人間の実演から報酬関数を学ぼうとする。 本稿では,ネットワーク蒸留による課題目標と人間の戦略的嗜好を共同で推測する手法を提案する。 本アルゴリズムは,2つの模擬タスクと実世界の卓球タスクにおいて,タスク報酬と戦略報酬をよりよく回収し,戦略を模倣できることを示す。
  論文  参考訳（メタデータ） (2020-01-02T16:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。