論文の概要: Deep Learning is Not So Mysterious or Different

• arxiv url: http://arxiv.org/abs/2503.02113v1
• Date: Mon, 03 Mar 2025 22:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:41.774375
• Title: Deep Learning is Not So Mysterious or Different
• Title（参考訳）: ディープラーニングは神秘的でも違いでもない
• Authors: Andrew Gordon Wilson,
• Abstract要約: 我々は、異常な一般化行動はニューラルネットワークとは異なるものではないと主張している。 我々はこれらの現象を説明する上で重要な統一原理として、軟性誘導バイアスを提示する。 また、ディープラーニングが、表現学習の能力など、他の方法と相対的に異なる点を強調します。
• 参考スコア（独自算出の注目度）: 54.5330466151362
• License:
• Abstract: Deep neural networks are often seen as different from other model classes by defying conventional notions of generalization. Popular examples of anomalous generalization behaviour include benign overfitting, double descent, and the success of overparametrization. We argue that these phenomena are not distinct to neural networks, or particularly mysterious. Moreover, this generalization behaviour can be intuitively understood, and rigorously characterized using long-standing generalization frameworks such as PAC-Bayes and countable hypothesis bounds. We present soft inductive biases as a key unifying principle in explaining these phenomena: rather than restricting the hypothesis space to avoid overfitting, embrace a flexible hypothesis space, with a soft preference for simpler solutions that are consistent with the data. This principle can be encoded in many model classes, and thus deep learning is not as mysterious or different from other model classes as it might seem. However, we also highlight how deep learning is relatively distinct in other ways, such as its ability for representation learning, phenomena such as mode connectivity, and its relative universality.
• Abstract（参考訳）: ディープニューラルネットワークは、従来の一般化の概念を否定することで、他のモデルクラスとは異なると見なされることが多い。 異常一般化行動の一般的な例は、良性過剰適合、二重降下、過パラメトリゼーションの成功である。 これらの現象はニューラルネットワークと異なるものではなく、特に謎だ、と我々は主張する。 さらに、この一般化行動は直感的に理解することができ、PAC-Bayesや可算仮説境界といった長年の一般化フレームワークを用いて厳密に特徴づけられる。 過剰適合を避けるために仮説空間を制限するのではなく、柔軟な仮説空間を採用し、データと整合したより単純な解をソフトに選好する。 この原理は多くのモデルクラスで符号化できるため、深層学習は他のモデルクラスほど神秘的あるいは異なるものではない。 しかし, 深層学習が, 表現学習能力, モード接続性などの現象, およびその相対的普遍性など, その他の面で相対的に異なる点も強調する。

関連論文リスト

• Universality of Benign Overfitting in Binary Linear Classification [1.6385815610837167]
  深層ニューラルネットワークは、過度にパラメータ化された状態において、うまく一般化しているようだ。 現在、様々な古典的な統計モデルにも良性過剰適合が生じることが知られている。
  論文  参考訳（メタデータ） (2025-01-17T20:22:06Z)
• Understanding Deep Learning via Notions of Rank [5.439020425819001]
  この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。 特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。 明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
  論文  参考訳（メタデータ） (2024-08-04T18:47:55Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization [48.26492774959634]
  線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。 我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
  論文  参考訳（メタデータ） (2022-11-24T13:50:16Z)
• Generalization Through The Lens Of Leave-One-Out Error [22.188535244056016]
  本稿では,カーネルシステムにおけるディープニューラルネットワークの一般化能力を推定する方法として,残余誤差が有益であることを示す。 そこで本研究は,カーネルシステムにおけるディープニューラルネットワークの一般化能力を推定する方法として,残余誤差が有益であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T14:56:00Z)
• Realizable Learning is All You Need [21.34668631009594]
  実現可能かつ不可知的な学習可能性の同値性は、学習理論における基本的な現象である。 実現可能かつ不可知な学習可能性の同値性を説明する最初のモデルに依存しないフレームワークを提示する。
  論文  参考訳（メタデータ） (2021-11-08T19:00:00Z)
• An Empirical Investigation into Deep and Shallow Rule Learning [0.0]
  本稿では,深層ルール学習と浅層ルール学習を一様一般アルゴリズムで実証的に比較する。 人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。
  論文  参考訳（メタデータ） (2021-06-18T17:43:17Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。