論文の概要: Smart Sampling: Self-Attention and Bootstrapping for Improved Ensembled Q-Learning

• arxiv url: http://arxiv.org/abs/2405.08252v1
• Date: Tue, 14 May 2024 00:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 15:17:48.370653
• Title: Smart Sampling: Self-Attention and Bootstrapping for Improved Ensembled Q-Learning
• Title（参考訳）: スマートサンプリング:Q-Learningの改善のための自己注意とブートストラップ
• Authors: Muhammad Junaid Khan, Syed Hammad Ahmed, Gita Sukthankar,
• Abstract要約: アンサンブルQ学習のサンプル効率向上を目的とした新しい手法を提案する。 提案手法は,組立Qネットワークにマルチヘッド自己アテンションを組み込むとともに,組立Qネットワークが取り入れた状態-動作ペアをブートストラップする。
• 参考スコア（独自算出の注目度）: 0.6963971634605796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel method aimed at enhancing the sample efficiency of ensemble Q learning. Our proposed approach integrates multi-head self-attention into the ensembled Q networks while bootstrapping the state-action pairs ingested by the ensemble. This not only results in performance improvements over the original REDQ (Chen et al. 2021) and its variant DroQ (Hi-raoka et al. 2022), thereby enhancing Q predictions, but also effectively reduces both the average normalized bias and standard deviation of normalized bias within Q-function ensembles. Importantly, our method also performs well even in scenarios with a low update-to-data (UTD) ratio. Notably, the implementation of our proposed method is straightforward, requiring minimal modifications to the base model.
• Abstract（参考訳）: アンサンブルQ学習のサンプル効率向上を目的とした新しい手法を提案する。 提案手法は,組立Qネットワークにマルチヘッド自己アテンションを組み込むとともに,組立Qネットワークが取り入れた状態-動作ペアをブートストラップする。 これにより、オリジナルのREDQ(Chen et al 2021)とDroQ(Hi-raoka et al 2022)のパフォーマンスが向上し、Q予測が向上するだけでなく、Q関数アンサンブル内の平均正規化バイアスと標準正規化バイアスの偏差を効果的に低減する。 重要なことに,本手法は,更新データ(UTD)比が低いシナリオでも良好に動作する。 特に,提案手法の実装は単純であり,基本モデルの変更を最小限に抑える必要がある。

関連論文リスト

• Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization [55.09893295671917]
  本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。 GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-09T07:26:21Z)
• Aggressive Q-Learning with Ensembles: Achieving Both High Sample Efficiency and High Asymptotic Performance [12.871109549160389]
  本稿では、REDQのサンプル効率とTQCの性能を改善する新しいモデルフリーアルゴリズム、AQEを提案する。 AQEは非常に単純で、批評家の分布表現もターゲットのランダム化も必要としない。
  論文  参考訳（メタデータ） (2021-11-17T14:48:52Z)
• On the Estimation Bias in Double Q-Learning [20.856485777692594]
  二重Q学習は完全にバイアスがなく、過小評価バイアスに悩まされている。 そのような過小評価バイアスは、近似されたベルマン作用素の下で複数の最適でない不動点をもたらす可能性があることを示す。 ダブルQ-ラーニングにおける過小評価バイアスに対する部分修正として,単純だが効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-29T13:41:24Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• Self-correcting Q-Learning [14.178899938667161]
  自己修正アルゴリズム」という形でバイアスに対処する新しい手法を導入する。 この戦略をQラーニングに適用すると、自己修正Qラーニングが発生する。 理論的には,このアルゴリズムはQ-ラーニングと同等の収束保証を享受できるが,精度は高い。
  論文  参考訳（メタデータ） (2020-12-02T11:36:24Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Optimistic Exploration even with a Pessimistic Initialisation [57.41327865257504]
  最適初期化は強化学習(RL)における効率的な探索のための効果的な戦略である 特に、正の報酬しか持たないシナリオでは、Q-値はその最低値で初期化される。 本稿では、ニューラルネットワークから楽観性の源を分離する、悲観的に初期化されたQ値に対する単純なカウントベースの拡張を提案する。
  論文  参考訳（メタデータ） (2020-02-26T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。