論文の概要: Toward Online Robust Zero-Sum Markov Games with Function Approximation

• arxiv url: http://arxiv.org/abs/2610.26286v1
• Date: Mon, 19 Oct 2026 12:38:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:28:46.961103
• Title: Toward Online Robust Zero-Sum Markov Games with Function Approximation
• Title（参考訳）: 関数近似を用いたオンラインロバストゼロサムマルコフゲームを目指して
• Abstract要約: オンラインのロバストなゼロサムマルコフゲームは、演算子学習とゲーム解決の複合的な問題を引き起こす。 我々は、ロバストな適合性、楽観的なミニマックス計画、後方検証された信頼セットを組み合わせた楽観的なデュアルロバストなベルマンフレームワークを開発する。 小規模な数値実験では、キャリブレーション、戦略的カバレッジ、およびフレームワークによって予測されるリターンギャップトレードオフが説明されている。
• 参考スコア（独自算出の注目度）: 0.7925707043167534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online robust zero-sum Markov games pose a coupled operator-learning and game-solving problem: from nominal interaction data, the learner must recover a worst-case minimax Bellman operator while maintaining strategic coverage and controlling stage-game approximation error. Existing robust reinforcement-learning theory does not yet provide such an operator-learning perspective beyond specialized multi-agent settings. We develop an optimistic dual robust Bellman framework that combines dual robust Bellman fitting, optimistic minimax planning, backward-validated confidence sets, and exploiter-mix data collection. Our analysis is organized around the robust Bellman residuals induced by the candidate value class and yields a regret reduction that separates exploration complexity, robust operator-estimation error, stage-game solution error, and misspecification. Under explicit interpretable assumptions, we obtain conditional theorem interfaces for general and projected function approximation, together with closed results in several structured regimes, including tabular, epochwise cross-fit linear, self-normalized pure-online linear / finite-rank kernel, and projected RKHS truncation. Small-scale numerical experiments illustrate robustness calibration, strategic coverage, and the return-gap trade-off predicted by the framework.
• Abstract（参考訳）: オンラインのロバストなゼロサムマルコフゲームは、演算子学習とゲーム解決の複合的な問題を生じさせる: 名目上の相互作用データから、学習者は戦略的カバレッジを維持し、ステージゲーム近似誤差を制御しながら、最悪のケースのミニマックスベルマン演算子を回復しなければならない。 既存の堅牢な強化学習理論は、特別なマルチエージェント設定以上の演算子学習の視点を提供していない。 我々は、デュアルロバストなベルマンフィッティング、楽観的なミニマックス計画、後方検証された信頼セット、エクスプローラーミックスデータ収集を組み合わせた楽観的なデュアルロバストなベルマンフレームワークを開発する。 我々の分析は, 候補値クラスによって誘導されるベルマン残差を中心に構成され, 探索複雑性, 頑健な演算子推定誤差, ステージ・ゲーム・ソリューション・エラー, および誤特定を分離する後悔の低減をもたらす。 明示的な解釈可能な仮定の下では、一般および射影関数近似のための条件付き定理インターフェースと、タブ状、エポックワイドなクロスフィット線形、自己正規化された純正線型/有限ランクカーネル、および射影されたRKHSトランケーションを含むいくつかの構造化された状態における閉結果を得る。 大規模数値実験では、ロバスト性校正、戦略的カバレッジ、およびフレームワークによって予測されるリターンギャップトレードオフが示されている。

関連論文リスト

• Offline Policy Evaluation via Mixed Bellman Residuals and Adaptive Critic Representations [3.7331041006330494]
  固定混合重量の1段残差と2段残差の凸結合を考える。 理想的な設定では、この混合ベルマン定式化は、制限値関数クラスの下で近似誤差の間の自然なバイアス-分散トレードオフを与えることができる。 固定関数クラスに依存する標準的なアプローチとは異なり、予測される将来の特徴方向を用いてデータ依存の批判表現を構築する。 オーバーフィッティングを制御するために、我々はサンプル分割を用いて批評家を構築し、別のデータサブセットで値関数を推定する。
  論文  参考訳（メタデータ） (2026-09-27T04:09:38Z)
• The Hidden Cost of Approximation in Online Mirror Descent [56.99972253009168]
  オンラインミラー降下(OMD)は、最適化、機械学習、シーケンシャルな意思決定において多くのアルゴリズムの基盤となる基本的なアルゴリズムパラダイムである。 本研究では,不正確なOMDに関する系統的研究を開始し,正規化器の滑らかさと近似誤差に対する頑健さとの複雑な関係を明らかにする。
  論文  参考訳（メタデータ） (2025-11-27T10:09:07Z)
• Stability and Generalization for Bellman Residuals [8.250374560598493]
  ベルマン残留最小化(BRM)はオフライン強化学習の魅力的な治療法として浮上している。 本稿では,SGDAが近傍のデータセット上で実行され,O(1/n)平均引数-安定性境界が得られる,単一のリアプノフポテンシャルを紹介する。 その結果、標準のニューラルネットワークパラメータ化とミニバッチSGDが得られた。
  論文  参考訳（メタデータ） (2025-08-26T07:15:36Z)
• Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
  半正直な設定で一貫したバックドア検出フレームワークを提案する。 本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。 特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-03-21T06:12:06Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Robust optimization for adversarial learning with finite sample complexity guarantees [1.8434042562191815]
  本稿では,線形・非線形な分類問題に着目し,ロバストな分類器に対する新しい逆学習法を提案する。 データ駆動型レンズの下ではロバスト性があり、線形および非線形の分類器の2進および複数クラスシナリオにおける有限標本複雑性境界を導出する。 線形および非線形モデルに対する線形計画法 (LP) と2次コーン計画法 (SOCP) を用いて, 最悪のサロゲート損失を最小限に抑えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-22T13:49:53Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• Offline Learning in Markov Games with General Function Approximation [22.2472618685325]
  マルコフゲームにおけるオフラインマルチエージェント強化学習(RL)について検討する。 マルコフゲームにおけるサンプル効率のよいオフライン学習のための最初のフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-06T05:22:27Z)
• When is Realizability Sufficient for Off-Policy Reinforcement Learning? [17.317841035807696]
  我々は,所定の機能クラスに対してのみ実現可能性を持つ場合,非政治強化学習の統計的複雑さを分析する。 ベルマン誤差と呼ばれる近似誤差項を含まない非政治強化学習の有限サンプル保証を確立する。
  論文  参考訳（メタデータ） (2022-11-10T03:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。