論文の概要: Understanding the Role of Adversarial Regularization in Supervised Learning

• arxiv url: http://arxiv.org/abs/2010.00522v1
• Date: Thu, 1 Oct 2020 16:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 07:09:08.646220
• Title: Understanding the Role of Adversarial Regularization in Supervised Learning
• Title（参考訳）: 教師付き学習における逆正則化の役割の理解
• Authors: Litu Rout
• Abstract要約: 本研究は, 単独の監督と逆正則化の文脈において, 消滅問題, 勾配複雑性, 勾配流, 証明可能な収束について検討する。 最近導入された単位的キャパシティーベース一般化境界に動機付けられ、この測度が一般化を説明する能力に疑問を投げかけた。 神経組込みベクトル空間における興味深い現象を観察し、対人学習と単独の監督とを対比した。
• 参考スコア（独自算出の注目度）: 10.933825676518195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite numerous attempts sought to provide empirical evidence of adversarial regularization outperforming sole supervision, the theoretical understanding of such phenomena remains elusive. In this study, we aim to resolve whether adversarial regularization indeed performs better than sole supervision at a fundamental level. To bring this insight into fruition, we study vanishing gradient issue, asymptotic iteration complexity, gradient flow and provable convergence in the context of sole supervision and adversarial regularization. The key ingredient is a theoretical justification supported by empirical evidence of adversarial acceleration in gradient descent. In addition, motivated by a recently introduced unit-wise capacity based generalization bound, we analyze the generalization error in adversarial framework. Guided by our observation, we cast doubts on the ability of this measure to explain generalization. We therefore leave as open questions to explore new measures that can explain generalization behavior in adversarial learning. Furthermore, we observe an intriguing phenomenon in the neural embedded vector space while contrasting adversarial learning with sole supervision.
• Abstract（参考訳）: 敵対的正規化の実証的な証拠を提供するために多くの試みが単独の監督よりも優れているにもかかわらず、そのような現象の理論的な理解はいまだに解明されていない。 本研究では,逆正則化が基本レベルにおいて単独の監督よりも優れているか,という課題を解決することを目的とする。 そこで本研究では, 単独の監督と逆正則化の文脈において, 漸近的反復複雑性, 勾配流, 証明可能な収束の解消を考察した。 主成分は、勾配降下における逆加速度の実証的証拠によって支持される理論的正当化である。 さらに,最近導入された単位系キャパシティベース一般化境界に動機づけられ,逆フレームワークにおける一般化誤差を解析した。 われわれの観察から導かれたこの尺度は一般化を説明する能力に疑問を投げかけた。 それゆえ,我々は,敵学習における一般化行動を説明する新しい尺度を探求するために,オープン質問として残す。 さらに, 対人学習と対人学習を対比しながら, 神経組込みベクトル空間における興味深い現象を観察した。

関連論文リスト

• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Understanding What Affects the Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence [53.51724434972605]
  本稿では,テスト環境に障害がある場合の一般化ギャップに寄与する要因について理論的に考察する。 我々の理論は、人間の直観に沿う訓練環境とテスト環境の表現距離を最小化することが、一般化のギャップを減らすことの利点として最も重要であることを示唆している。
  論文  参考訳（メタデータ） (2024-02-05T03:27:52Z)
• On robust overfitting: adversarial training induced distribution matters [32.501773057885735]
  敵の訓練は、修正された損失関数を持つ標準的な訓練と見なすことができる。 しかし、その一般化誤差は標準損失下での標準訓練よりもはるかに大きいように見える。 この現象は頑丈なオーバーフィッティング(英語版)として知られ、研究の注目を集め、主に謎として残っている。
  論文  参考訳（メタデータ） (2023-11-28T05:11:53Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Towards Understanding the Mechanism of Contrastive Learning via Similarity Structure: A Theoretical Analysis [10.29814984060018]
  Kernel Contrastive Learning (KCL) と呼ばれるカーネルベースのコントラスト学習フレームワークについて検討する。 本稿では,統計的依存関係の観点から学習表現の類似性構造を定式化する。 下流タスクの分類誤差の新しい上限を示し、これは我々の理論が比較学習の実証的成功と一致することを説明している。
  論文  参考訳（メタデータ） (2023-04-01T21:53:29Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Towards the Generalization of Contrastive Self-Supervised Learning [11.889992921445849]
  本稿では, 自己教師付き事前学習モデルが下流タスクにどのように一般化するかを理論的に説明する。 さらに,SimCLR と Barlow Twins についても検討する。
  論文  参考訳（メタデータ） (2021-11-01T07:39:38Z)
• Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability [92.95794652625496]
  総合化は強化学習システムの展開における中心的な課題である。 限られた訓練条件から検査条件を特定できないように一般化することは、暗黙的な部分観察可能性をもたらすことを示す。 我々は、RLにおける一般化の問題を、部分的に観察されたマルコフ決定過程の解法として再考した。
  論文  参考訳（メタデータ） (2021-07-13T17:59:25Z)
• Feedback in Imitation Learning: Confusion on Causality and Covariate Shift [12.93527098342393]
  我々は,過去の行動に対する条件付けが,学習者の「実行」エラーと性能の劇的な相違につながることを論じる。 我々は、模倣学習アプローチをテストするために使用される既存のベンチマークを分析する。 従来の文献とは驚くほど対照的に,行動的クローン化は優れた結果をもたらすことが判明した。
  論文  参考訳（メタデータ） (2021-02-04T20:18:56Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。