論文の概要: Uncertainty-Aware Selection of Online Algorithms with Simulator Ensembles

• arxiv url: http://arxiv.org/abs/2609.32170v1
• Date: Sat, 26 Sep 2026 02:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 19:16:47.705131
• Title: Uncertainty-Aware Selection of Online Algorithms with Simulator Ensembles
• Title（参考訳）: シミュレータアンサンブルを用いたオンラインアルゴリズムの不確実性を考慮した選択
• Abstract要約: Plug-Inセレクションは、シミュレータに適合するオフラインデータが制限されている場合に、評価を信頼できないようにする。 本研究では,シミュレータのアンサンブルを形成し,オンラインアルゴリズムを最高の平均性能で選択する不確実性認識選択について検討する。 提案手法は,シミュレータに装着した場合の限られたデータの影響を緩和し,理論的には大きな後悔を招きやすいことを示す。
• 参考スコア（独自算出の注目度）: 10.985176532296329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of online reinforcement learning depends critically on design choices, especially those that affect exploration. These choices are often selected by fitting a simulator to offline data, evaluating candidate algorithms in that simulator, and deploying the best-performing one. The simplest Plug-In selection rule simply selects the best performing algorithm on the fitted simulator, making evaluations unreliable when the offline data used to fit the simulator are limited. We investigate Uncertainty-Aware selection, which forms an ensemble of simulators---for example, obtained by bootstrap resampling---and selects the online algorithm with the best average performance across the ensemble. While ensemble-based approaches have been used to mitigate distribution shift and facilitate sim-to-real transfer, we formally show that this approach can mitigate the effects of limited data when fitting the simulator and theoretically has significant regret gains compared to Plug-In selection in multi-armed bandits. We also empirically investigate the Uncertainty-Aware selection approach in deep RL experiments on robotic control tasks that involve selecting reward-shaping hyperparameters, and show that it leads to more reliable selection and improved online performance.
• Abstract（参考訳）: オンライン強化学習のパフォーマンスは、特に探索に影響を与える設計上の選択に大きく依存する。 これらの選択は、シミュレータをオフラインデータに適合させ、そのシミュレータの候補アルゴリズムを評価し、最高のパフォーマンスのアルゴリズムをデプロイすることで選択されることが多い。 最も単純なPlug-In選択規則は、適合したシミュレータ上で最高の性能のアルゴリズムを単純に選択し、シミュレータに適合するオフラインデータが制限された場合に評価を信頼できないようにする。 例えば、ブートストラップ再サンプリングによって得られるシミュレータのアンサンブルを形成し、アンサンブル全体で最高の平均性能を持つオンラインアルゴリズムを選択する。 アンサンブルに基づくアプローチは、分散シフトを緩和し、シミュレート・トゥ・リアル転送を促進するのに使われてきたが、本手法はシミュレータの装着時の制限データの影響を緩和し、マルチアームバンディットにおけるPlug-In選択と比較して理論的に大きな後悔の得られることを正式に示す。 また,報酬形成ハイパーパラメータの選択を含むロボット制御タスクの深部RL実験における不確実性意識選択のアプローチを実証的に検討し,より信頼性の高い選択とオンラインパフォーマンスの向上につながることを示す。

関連論文リスト

• Online Data Selection Is Implicit Alignment [1.9054869116450563]
  オンラインデータ選択を暗黙のアライメントメカニズムとして研究する。 タスク精度においてセレクタは統計的に区別できないが, 拒否率, 冗長性, 梅毒度が急激に変化していることが示される。 この見解は、オンラインスコアの定義方法によって、ハイスコアなデータは、より長く、より断定的で、より順応し、より断固とした行動をとることができると予測している。
  論文  参考訳（メタデータ） (2026-07-08T05:44:33Z)
• Learning Shortest Paths When Data is Scarce [3.3012620893449465]
  本研究では,プランナーが豊富な合成サンプルにアクセス可能な最短経路問題,限られた実世界の観測,およびリンク間の振る舞いの類似性を推定するエッジ類似性について検討する。 シミュレーションと現実の相違を、類似性グラフ上で滑らかに変化するエッジ固有のバイアスとしてモデル化し、ラプラシアン正規化最小二乗を用いて推定する。 初期実データを持たないコールドスタート設定のために、所定の精度が満たされるまでエッジを適応的に選択するバイアス対応能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2026-01-07T06:19:04Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Automatic AI Model Selection for Wireless Systems: Online Learning via Digital Twinning [50.332027356848094]
  AIベースのアプリケーションは、スケジューリングや電力制御などの機能を実行するために、インテリジェントコントローラにデプロイされる。 コンテキストとAIモデルのパラメータのマッピングは、ゼロショット方式で理想的に行われる。 本稿では,AMSマッピングのオンライン最適化のための一般的な手法を紹介する。
  論文  参考訳（メタデータ） (2024-06-22T11:17:50Z)
• Improving Offline Reinforcement Learning with Inaccurate Simulators [34.54402525918925]
  オフラインデータセットと不正確なシミュレーションデータをよりうまく組み合わせる新しい手法を提案する。 具体的には、オフラインデータセットの状態分布に合わせるために、GAN(Generative Adversarial Network)モデルを事前訓練する。 D4RLベンチマークと実世界の操作タスクによる実験結果から,提案手法は不正確なシミュレータと限定されたオフラインデータセットにより,最先端の手法よりも優れた性能を実現することができることを確認した。
  論文  参考訳（メタデータ） (2024-05-07T13:29:41Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• Bayesian Optimisation vs. Input Uncertainty Reduction [1.0497128347190048]
  そこで本研究では,シミュレーションと実データ収集のトレードオフを考慮し,真の入力によるシミュレータの最適解を求める。 本稿では,ベイズ情報収集と最適化という,統一的なシミュレーション最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-31T23:42:22Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。