論文の概要: Multi-Fidelity Hybrid Reinforcement Learning via Information Gain Maximization

• arxiv url: http://arxiv.org/abs/2509.14848v1
• Date: Thu, 18 Sep 2025 11:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.1819
• Title: Multi-Fidelity Hybrid Reinforcement Learning via Information Gain Maximization
• Title（参考訳）: 情報ゲイン最大化による多要素ハイブリッド強化学習
• Authors: Houssem Sifaou, Osvaldo Simeone,
• Abstract要約: 情報ゲイン(MFHRL-IGM)を用いた多要素ハイブリッドRLを提案する。 MFHRL-IGM (MFHRL-IGM) は、ブートストラップ方式による情報ゲインに基づく忠実度選択を実装したハイブリッドオフラインオンラインRLアルゴリズムである。
• 参考スコア（独自算出の注目度）: 34.31568550964209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing a reinforcement learning (RL) policy typically requires extensive interactions with a high-fidelity simulator of the environment, which are often costly or impractical. Offline RL addresses this problem by allowing training from pre-collected data, but its effectiveness is strongly constrained by the size and quality of the dataset. Hybrid offline-online RL leverages both offline data and interactions with a single simulator of the environment. In many real-world scenarios, however, multiple simulators with varying levels of fidelity and computational cost are available. In this work, we study multi-fidelity hybrid RL for policy optimization under a fixed cost budget. We introduce multi-fidelity hybrid RL via information gain maximization (MF-HRL-IGM), a hybrid offline-online RL algorithm that implements fidelity selection based on information gain maximization through a bootstrapping approach. Theoretical analysis establishes the no-regret property of MF-HRL-IGM, while empirical evaluations demonstrate its superior performance compared to existing benchmarks.
• Abstract（参考訳）: 強化学習(RL)ポリシーを最適化するには、しばしばコストがかかるか実用的でない環境の高忠実度シミュレーターとの広範な相互作用が必要となる。 オフラインRLは、事前に収集したデータからのトレーニングを可能にすることでこの問題に対処するが、データセットのサイズと品質によってその効果は強く制約される。 ハイブリッドオフラインRLは、オフラインデータと環境の1つのシミュレータとのインタラクションの両方を活用する。 しかし、現実の多くのシナリオでは、様々なレベルの忠実度と計算コストを持つ複数のシミュレータが利用可能である。 本研究では,固定コスト予算下での政策最適化のための多要素ハイブリッドRLについて検討する。 本稿では,情報ゲイン最大化(MF-HRL-IGM)によるマルチフィデリティハイブリッドRLを提案する。 理論解析によりMF-HRL-IGMの非回帰特性が確立される一方、経験的評価は既存のベンチマークよりも優れた性能を示す。

関連論文リスト

• MOORL: A Framework for Integrating Offline-Online Reinforcement Learning [6.7265073544042995]
  オフラインおよびオンライン学習を統合するハイブリッドフレームワークであるMOORL(Meta Offline-Online Reinforcement Learning)を提案する。 提案手法は,オフラインデータとオンラインデータの相補的強みを効果的に組み合わせることで,探索の促進を図っている。 計算オーバーヘッドが最小限であるMOORLは、実世界のシナリオにおける実用的な応用の可能性を強調し、高い性能を達成する。
  論文  参考訳（メタデータ） (2025-06-11T10:12:50Z)
• Hybrid Cross-domain Robust Reinforcement Learning [26.850955692805186]
  ロバスト強化学習(RL)は、環境に不確実性があるにもかかわらず効果的な政策を学ぶことを目的としている。 本稿では,Hybrid Cross-Domain Robust RLフレームワークであるHYDROを紹介する。 不確実性セットにおけるシミュレータと最悪のモデルのパフォーマンスギャップを計測し、最小化することにより、HYDROは、新しい不確実性フィルタリングと優先順位付けサンプリングを採用し、最も重要で信頼性の高いシミュレータサンプルを選択する。
  論文  参考訳（メタデータ） (2025-05-29T02:25:13Z)
• Preference Elicitation for Offline Reinforcement Learning [59.136381500967744]
  オフラインの嗜好に基づく強化学習アルゴリズムであるSim-OPRLを提案する。 本アルゴリズムは,配当外データに対する悲観的アプローチと,最適方針に関する情報的嗜好を得るための楽観的アプローチを用いる。
  論文  参考訳（メタデータ） (2024-06-26T15:59:13Z)
• H2O+: An Improved Framework for Hybrid Offline-and-Online RL with Dynamics Gaps [30.590370256557012]
  我々はH2O+と呼ばれる新しいアルゴリズムを開発し、オフラインおよびオンライン学習の様々な選択肢を橋渡しする優れた柔軟性を提供します。 先進的なクロスドメインとオフラインのRLアルゴリズムよりも優れた性能と柔軟性を示す。
  論文  参考訳（メタデータ） (2023-09-22T08:58:22Z)
• Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning [66.43003402281659]
  オンラインデータ収集を効率的に活用してオフラインデータセットを強化し補完する方法に、中心的な疑問が浮かび上がっている。 我々は、純粋なオフラインRLと純粋なオンラインRLという、両方の世界のベストを打ち負かす3段階のハイブリッドRLアルゴリズムを設計する。 提案アルゴリズムは,データ収集時に報酬情報を必要としない。
  論文  参考訳（メタデータ） (2023-05-17T15:17:23Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• Critic Regularized Regression [70.8487887738354]
  批判正規化回帰(CRR)形式を用いてデータからポリシーを学習するための新しいオフラインRLアルゴリズムを提案する。 CRRは驚くほどよく動作し、高次元の状態と行動空間を持つタスクにスケールする。
  論文  参考訳（メタデータ） (2020-06-26T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。