論文の概要: A Survey Analyzing Generalization in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2401.02349v2
• Date: Wed, 30 Oct 2024 16:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:38.303494
• Title: A Survey Analyzing Generalization in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習における一般化の分析
• Authors: Ezgi Korkmaz,
• Abstract要約: 深層強化学習における一般化の形式化と分析を行う。 より深い強化学習政策が、一般化能力を制限する過度に適合する問題に直面する根本的な理由を説明します。
• 参考スコア（独自算出の注目度）: 14.141453107129403
• License:
• Abstract: Reinforcement learning research obtained significant success and attention with the utilization of deep neural networks to solve problems in high dimensional state or action spaces. While deep reinforcement learning policies are currently being deployed in many different fields from medical applications to large language models, there are still ongoing questions the field is trying to answer on the generalization capabilities of deep reinforcement learning policies. In this paper, we will formalize and analyze generalization in deep reinforcement learning. We will explain the fundamental reasons why deep reinforcement learning policies encounter overfitting problems that limit their generalization capabilities. Furthermore, we will categorize and explain the manifold solution approaches to increase generalization, and overcome overfitting in deep reinforcement learning policies. From exploration to adversarial analysis and from regularization to robustness our paper provides an analysis on a wide range of subfields within deep reinforcement learning with a broad scope and in-depth view. We believe our study can provide a compact guideline for the current advancements in deep reinforcement learning, and help to construct robust deep neural policies with higher generalization skills.
• Abstract（参考訳）: 強化学習研究は、高次元の状態や行動空間の問題を解決するためにディープニューラルネットワークを利用することで、大きな成功と注目を集めた。 深層強化学習政策は現在、医学的応用から大規模言語モデルに至るまで、多くの分野に展開されているが、深層強化学習政策の一般化能力について、まだ疑問が続いている。 本稿では,深層強化学習における一般化の形式化と解析を行う。 より深い強化学習政策が、一般化能力を制限する過度に適合する問題に直面する根本的な理由を説明します。 さらに、一般化を高めるために多様体解法を分類し、説明し、深層強化学習政策における過剰適合を克服する。 探索から逆解析,正規化からロバスト化に至るまで,本論文は広範囲かつ深い視点で深層強化学習における幅広いサブフィールドを解析する。 我々の研究は、深層強化学習の現在の進歩のためのコンパクトなガイドラインを提供し、より高度な一般化スキルで堅牢な深部神経政策を構築するのに役立つと信じている。

関連論文リスト

• Causal Reinforcement Learning: A Survey [57.368108154871]
  強化学習は、不確実性の下でのシーケンシャルな決定問題の解決に不可欠なパラダイムである。 主な障害の1つは、強化学習エージェントが世界に対する根本的な理解を欠いていることである。 因果性は、体系的な方法で知識を形式化できるという点で顕著な利点がある。
  論文  参考訳（メタデータ） (2023-07-04T03:00:43Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness [7.6146285961466]
  我々は、高感度方向が深層神経政策の状況においてより豊富であることを示し、ブラックボックス設定でより自然な方法で見つけることができることを示した。 我々は,バニラ訓練技術が,最先端の対人訓練技術を通じて学んだ政策と比較して,より堅牢な政策を学習する結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-01-17T16:54:33Z)
• Understanding the Evolution of Linear Regions in Deep Reinforcement Learning [21.53394095184201]
  深部強化学習において,観測された地域数とその密度がどのように進化するかを考察した。 最終方針から得られる固定軌跡に沿って測定した結果, 地域密度はトレーニングを通じて中程度に増大することがわかった。 以上の結果から, 深層強化学習政策の複雑さは, この政策の軌道上および前後で観察される関数の複雑さの顕著な増加から生じるものではないことが示唆された。
  論文  参考訳（メタデータ） (2022-10-24T21:22:12Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation [65.79387438988554]
  十分なデータと代表データがない場合の一般化能力の欠如は、その実践的応用を妨げる課題の1つである。 我々はKDDG(Knowledge Distillation for Domain Generalization)という,シンプルで効果的な,プラグアンドプレイのトレーニング戦略を提案する。 教師ネットワークからの「より豊かな暗黒知識」と、我々が提案した勾配フィルタの両方が、マッピングの学習の難しさを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-06T14:08:54Z)
• The Modern Mathematics of Deep Learning [8.939008609565368]
  深層学習の数学的解析の新しい分野について述べる。 この分野は、古典的な学習理論の中では答えられなかった研究課題の一覧に現れている。 選択されたアプローチについては、主なアイデアをより詳細に説明します。
  論文  参考訳（メタデータ） (2021-05-09T21:30:42Z)
• NeurIPS 2020 Competition: Predicting Generalization in Deep Learning [0.0]
  深層学習における一般化を理解することは、深層学習における最も重要な質問の1つである。 我々は,モデルの一般化を正確に予測できる複雑性尺度の提案をコミュニティに依頼する。
  論文  参考訳（メタデータ） (2020-12-14T22:21:37Z)
• Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness [63.627760598441796]
  深層学習における対角的強靭性の分野を詳細に検討する。 直感的な対向例と深層ニューラルネットワークの幾何学的関係を強調した。 セキュリティを超えた敵の堅牢性の主な応用について概説する。
  論文  参考訳（メタデータ） (2020-10-19T16:03:46Z)
• Generalization in Deep Learning [103.91623583928852]
  本稿では,その容量,複雑性,アルゴリズムの不安定性,非破壊性,およびシャープなミニマにもかかわらず,ディープラーニングがなぜ,どのように一般化できるかに関する理論的知見を提供する。 また、ディープラーニングのための非空でない一般化保証を提供するためのアプローチについても論じる。
  論文  参考訳（メタデータ） (2017-10-16T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。