論文の概要: Online Robust Reinforcement Learning Through Monte-Carlo Planning

• arxiv url: http://arxiv.org/abs/2609.18599v1
• Date: Wed, 16 Sep 2026 12:52:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.810619
• Title: Online Robust Reinforcement Learning Through Monte-Carlo Planning
• Title（参考訳）: モンテカルロ計画によるオンラインロバスト強化学習
• Abstract要約: 動的モデルのあいまいさを緩和するモンテカルロ木探索(MCTS)の頑健な新しい変種を提案する。 本アルゴリズムは,シミュレーションベース計画と実環境展開のギャップを埋めるために,遷移力学と報奨分布のあいまいさに対処する。
• 参考スコア（独自算出の注目度）: 20.813423685566416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monte Carlo Tree Search (MCTS) is a powerful framework for solving complex decision-making problems, yet it often relies on the assumption that the simulator and the real-world dynamics are identical. Although this assumption helps achieve the success of MCTS in games like Chess, Go, and Shogi, the real-world scenarios incur ambiguity due to their modeling mismatches in low-fidelity simulators. In this work, we present a new robust variant of MCTS that mitigates dynamical model ambiguities. Our algorithm addresses transition dynamics and reward distribution ambiguities to bridge the gap between simulation-based planning and real-world deployment. We incorporate a robust power mean backup operator and carefully designed exploration bonuses to ensure finite-sample convergence at every node in the search tree. We show that our algorithm achieves a convergence rate of $\mathcal{O}(n^{-1/2})$ for the value estimation at the root node, comparable to that of standard MCTS. Finally, we provide empirical evidence that our method achieves robust performance in planning problems even under significant ambiguity in the underlying reward distribution and transition dynamics.
• Abstract（参考訳）: モンテカルロ木探索(MCTS)は複雑な意思決定問題を解決する強力なフレームワークであるが、シミュレータと実世界のダイナミクスが同一であるという仮定に依存することが多い。 この仮定はChess、Go、ShogiのようなゲームにおけるMCTSの成功に寄与するが、現実のシナリオは低忠実度シミュレータにおけるモデリングミスマッチのために曖昧さを生じさせる。 本研究では,力学モデルのあいまいさを緩和するMCTSのロバストな新しい変種を提案する。 本アルゴリズムは,シミュレーションベース計画と実環境展開のギャップを埋めるために,遷移力学と報奨分布のあいまいさに対処する。 探索木内の各ノードにおける有限サンプル収束を確保するために、ロバストなパワー平均バックアップ演算子と、慎重に設計された探索ボーナスを組み込んだ。 本アルゴリズムは,標準MCTSに匹敵するルートノードにおける値推定に対して,$\mathcal{O}(n^{-1/2})$の収束率を達成することを示す。 最後に,提案手法は,基礎となる報酬分布と遷移ダイナミクスの曖昧さの下でも,計画上の問題において堅牢な性能を達成するという実証的証拠を提供する。

関連論文リスト

• Power Mean Estimation in Stochastic Continuous Monte Carlo Tree Search [0.6903929927172916]
  連続マルコフ決定過程(MDP)のためのモンテカルロ木探索法を提案する。 我々の理論解析により、Algname は $mathcalO(n-)$, $in (0,1/2)$ の速度で収束することを証明している。
  論文  参考訳（メタデータ） (2026-09-06T09:04:39Z)
• Stationary Robust Mean-Field Games under Model Mismatches [3.053409604085541]
  本稿では,無限水平定常平均場ゲームフレームワークを開発する。 分布モデルの不確実性を直接集団結合力学に組み込む。 契約的ロバスト力学体制の下では、明示的な非漸近誤差境界が得られる。
  論文  参考訳（メタデータ） (2026-06-21T16:29:25Z)
• LLM Swiss Round: Aggregating Multi-Benchmark Performance via Competitive Swiss-System Dynamics [23.99262273166077]
  大規模言語モデル(LLM)と多様な特殊なベンチマークでは、断片化されたタスク固有のメトリクスから、総合的で競争的なランキングシステムに移行する必要がある。 本稿では,コンペティティブ・スイス・システム・ダイナミクス (CSD) フレームワークを紹介し,シーケンシャル・コンテストをシミュレートする。 CSDは従来のアグリゲーションスコアリングや静的ペアワイズモデルよりもニュアンスでコンテキスト対応のランキングを提供する。
  論文  参考訳（メタデータ） (2025-12-24T07:14:31Z)
• MALinZero: Efficient Low-Dimensional Search for Mastering Complex Multi-Agent Planning [8.28864605730277]
  我々は,MALinZeroを提案する。これは,関節-作用リターンにおける低次元表現構造を活用するための新しいアプローチである。 MALinZeroは、行列ゲーム、SMAC、SMACv2のようなマルチエージェントベンチマークで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-11-08T21:27:09Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Weak-to-Strong Generalization with Failure Trajectories: A Tree-based Approach to Elicit Optimal Policy in Strong Models [26.393123295267642]
  W2SG(Wak-to-Strong generalization)は、弱いモデルから監督された強いモデルの完全な能力を引き出す新しい傾向である。 我々は、弱いモデルによって生成された中間作用の軌跡を持つ強いモデルを微調整する。 我々の経験的評価は、多種多様なタスク領域にわたる推論と意思決定能力を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-07-25T00:17:09Z)
• Robust Optimization with Diffusion Models for Green Security [49.68562792424776]
  グリーンセキュリティでは、効果的パトロールを計画するためには、密猟、違法伐採、違法漁などの敵の行動を予測する必要がある。 本稿では,その強い分布適合性を利用した逆挙動モデリングのための条件付き拡散モデルを提案する。 混合戦略の混合戦略を導入し, 正確なサンプリングを行うために, ツイスト型シークエンシャルモンテカルロ (SMC) サンプリング装置を用いる。
  論文  参考訳（メタデータ） (2025-02-19T05:30:46Z)
• Maximum Entropy Heterogeneous-Agent Reinforcement Learning [45.377385280485065]
  近年,多エージェント強化学習(MARL)が協調ゲームに有効であることが示されている。 我々は,サンプルの複雑さ,トレーニング不安定性,および準最適ナッシュ平衡に収束するリスクに関する問題を解決するための統一的な枠組みを提案する。 The MaxEnt framework, we propose Heterogeneous-Agent Soft Actor-Critic (HASAC) algorithm。 HASACは、Bi-DexHands、Multi-Agent MuJoCo、StarCraft Challenge、Google Research Football、Multi-Agent Particle Environment、Light Aircraft Gameの6つのベンチマークで評価する。
  論文  参考訳（メタデータ） (2023-06-19T06:22:02Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。