論文の概要: Applying statistical learning theory to deep learning
- arxiv url: http://arxiv.org/abs/2311.15404v2
- Date: Mon, 25 Mar 2024 22:55:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 00:21:53.219039
- Title: Applying statistical learning theory to deep learning
- Title（参考訳）: 統計的学習理論を深層学習に適用する
- Authors: Cédric Gerbelot, Avetik Karagulyan, Stefani Karp, Kavya Ravichandran, Menachem Stern, Nathan Srebro,
- Abstract要約: これらの講義の目的は、深層学習を理解しようとするときに生じる主な疑問の概要を提供することである。
良心過剰の文脈における暗黙の偏見について論じる。
本稿では, 線形対角線ネットワーク上での勾配降下の暗黙的バイアスを, 様々な回帰タスクに対して詳細に検討する。
- 参考スコア（独自算出の注目度）: 21.24637996678039
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although statistical learning theory provides a robust framework to understand supervised learning, many theoretical aspects of deep learning remain unclear, in particular how different architectures may lead to inductive bias when trained using gradient based methods. The goal of these lectures is to provide an overview of some of the main questions that arise when attempting to understand deep learning from a learning theory perspective. After a brief reminder on statistical learning theory and stochastic optimization, we discuss implicit bias in the context of benign overfitting. We then move to a general description of the mirror descent algorithm, showing how we may go back and forth between a parameter space and the corresponding function space for a given learning problem, as well as how the geometry of the learning problem may be represented by a metric tensor. Building on this framework, we provide a detailed study of the implicit bias of gradient descent on linear diagonal networks for various regression tasks, showing how the loss function, scale of parameters at initialization and depth of the network may lead to various forms of implicit bias, in particular transitioning between kernel or feature learning.
- Abstract（参考訳）: 統計的学習理論は、教師付き学習を理解するための堅牢な枠組みを提供するが、ディープラーニングの多くの理論的側面は、特に勾配に基づく手法を用いて訓練された場合、どのように異なるアーキテクチャが帰納的バイアスをもたらすかは、はっきりしない。
これらの講義の目的は、ディープラーニングを学習理論の観点から理解しようとするときに生じる主な疑問の概観を提供することである。
統計的学習理論と確率的最適化に関する簡単なリマインダーの後、良心過剰化の文脈における暗黙のバイアスについて議論する。
次に、ミラー降下アルゴリズムの一般的な記述に移行し、パラメータ空間と学習問題に対応する関数空間の間を行き来し、学習問題の幾何学が計量テンソルによってどのように表現されるかを示す。
本稿では,ネットワークの初期化における損失関数,パラメータのスケール,およびネットワークの深さが,特にカーネルや特徴学習間の遷移など,様々な形態の暗黙のバイアスを引き起こす可能性を示す。
関連論文リスト
- Geometric Understanding of Discriminability and Transferability for Visual Domain Adaptation [27.326817457760725]
教師なしドメイン適応(UDA)のための不変表現学習は、コンピュータビジョンとパターン認識コミュニティにおいて大きな進歩を遂げている。
近年,移動可能性と識別可能性との実証的な関係が注目されている。
本研究では,幾何学的観点から,伝達可能性と識別可能性の本質を体系的に分析する。
論文 参考訳（メタデータ） (2024-06-24T13:31:08Z) - Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective [15.162584339143239]
グラフコントラスト学習(Graph contrastive learning)は、グラフの様々な摂動から不変情報を捉えるのに優れた一般的な学習パラダイムである。
最近の研究は、グラフから構造的理性を探究することに集中し、不変情報の識別可能性を高める。
本稿では,学習可能な次元理性獲得ネットワークと冗長性低減制約を導入した,次元理性対応グラフコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2023-12-16T10:05:18Z) - Learned Regularization for Inverse Problems: Insights from a Spectral Model [1.4963011898406866]
この章は、逆問題に対する最先端の学習アプローチに関する理論的に確立された調査を提供する。
正規化法とそれらの収束を、基礎となるデータ分布の観点から拡張した定義を与える。
論文 参考訳（メタデータ） (2023-12-15T14:50:14Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳（メタデータ） (2023-06-07T21:35:26Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。
我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。
適応勾配法の一般化に関する経験的および理論的考察を示す。
論文 参考訳（メタデータ） (2020-02-26T21:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。