論文の概要: When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter

• arxiv url: http://arxiv.org/abs/2410.12160v1
• Date: Wed, 16 Oct 2024 01:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:40:41.339747
• Title: When to Trust Your Data: Enhancing Dyna-Style Model-Based Reinforcement Learning With Data Filter
• Title（参考訳）: データ信頼の時 - データフィルタによるダイナスタイルモデルに基づく強化学習の強化
• Authors: Yansong Li, Zeyu Dong, Ertai Luo, Yu Wu, Shuo Wu, Shuo Han,
• Abstract要約: ダイナスタイルのアルゴリズムは、推定環境モデルからのシミュレーションデータを用いてモデルフリートレーニングを加速することにより、2つのアプローチを組み合わせる。 これまでの作業では、モデルアンサンブルを使用したり、実際の環境から収集されたデータで推定されたモデルを事前訓練することで、この問題に対処している。 本研究では,実環境において収集したデータから大きく分岐する推定モデルからシミュレーションデータを除去するアウト・オブ・ディストリビューションデータフィルタを提案する。
• 参考スコア（独自算出の注目度）: 7.886307329450978
• License:
• Abstract: Reinforcement learning (RL) algorithms can be divided into two classes: model-free algorithms, which are sample-inefficient, and model-based algorithms, which suffer from model bias. Dyna-style algorithms combine these two approaches by using simulated data from an estimated environmental model to accelerate model-free training. However, their efficiency is compromised when the estimated model is inaccurate. Previous works address this issue by using model ensembles or pretraining the estimated model with data collected from the real environment, increasing computational and sample complexity. To tackle this issue, we introduce an out-of-distribution (OOD) data filter that removes simulated data from the estimated model that significantly diverges from data collected in the real environment. We show theoretically that this technique enhances the quality of simulated data. With the help of the OOD data filter, the data simulated from the estimated model better mimics the data collected by interacting with the real model. This improvement is evident in the critic updates compared to using the simulated data without the OOD data filter. Our experiment integrates the data filter into the model-based policy optimization (MBPO) algorithm. The results demonstrate that our method requires fewer interactions with the real environment to achieve a higher level of optimality than MBPO, even without a model ensemble.
• Abstract（参考訳）: 強化学習(RL)アルゴリズムは、サンプル非効率なモデルフリーアルゴリズムと、モデルバイアスに悩まされるモデルベースアルゴリズムの2つのクラスに分けられる。 ダイナスタイルのアルゴリズムは、推定環境モデルからのシミュレーションデータを用いてモデルフリートレーニングを加速することにより、これらの2つのアプローチを組み合わせる。 しかし、推定されたモデルが不正確な場合、それらの効率は損なわれる。 これまでの研究では、モデルアンサンブルを使ったり、実際の環境から収集されたデータで推定されたモデルを事前訓練することでこの問題に対処し、計算量やサンプルの複雑さを増大させた。 この問題に対処するために,実環境で収集したデータから著しく分散する推定モデルからシミュレーションデータを除去するOODデータフィルタを導入する。 この手法がシミュレーションデータの質を向上させることを理論的に示す。 OODデータフィルタの助けを借りて、推定モデルからシミュレーションされたデータは、実際のモデルと対話することによって収集されたデータをよりよく模倣する。 この改善は、OODデータフィルタを使わずにシミュレートされたデータを使用する場合と比較して、批判的な更新で明らかである。 実験では,データフィルタをモデルベースポリシー最適化(MBPO)アルゴリズムに統合した。 その結果, モデルアンサンブルがなくても, MBPOよりも高い最適性を実現するためには, 実環境との相互作用が少ないことがわかった。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• From Data Deluge to Data Curation: A Filtering-WoRA Paradigm for Efficient Text-based Person Search [19.070305201045954]
  テキストベースの人物検索では、プライバシ保護と手動アノテーションの困難なタスクに対する懸念に対処するため、データ生成が主流となっている。 構築されたデータセット内のデータのサブセットのみが決定的な役割を果たすことを観察する。 我々は、この重要なデータサブセットを識別するためのフィルタリングアルゴリズムと、光微細チューニングのためのWoRA学習戦略を含む新しいフィルタリング-WoRAパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-04-16T05:29:14Z)
• Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
  機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。 実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-15T04:24:42Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• DeepVARwT: Deep Learning for a VAR Model with Trend [1.9862987223379664]
  本稿では,トレンドと依存構造を最大限に推定するために,ディープラーニング手法を用いた新しい手法を提案する。 この目的のためにLong Short-Term Memory (LSTM) ネットワークが使用される。 シミュレーション研究と実データへの適用について述べる。
  論文  参考訳（メタデータ） (2022-09-21T18:23:03Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。