論文の概要: Fit without fear: remarkable mathematical phenomena of deep learning through the prism of interpolation

• arxiv url: http://arxiv.org/abs/2105.14368v1
• Date: Sat, 29 May 2021 20:15:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-05 13:49:51.728456
• Title: Fit without fear: remarkable mathematical phenomena of deep learning through the prism of interpolation
• Title（参考訳）: 恐怖のないフィット:補間のプリズムによる深層学習の驚くべき数学的現象
• Authors: Mikhail Belkin
• Abstract要約: 過去10年間、機械学習の数学的理論は、実践的な課題に関して、ディープニューラルネットワークの勝利よりもはるかに遅れている。 私は、深層学習の基礎を理解する努力から生まれた、目覚ましい、そしてまだ未完成な数学的モザイクの一部を組み立てようと試みます。
• 参考スコア（独自算出の注目度）: 22.24486833887627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past decade the mathematical theory of machine learning has lagged far behind the triumphs of deep neural networks on practical challenges. However, the gap between theory and practice is gradually starting to close. In this paper I will attempt to assemble some pieces of the remarkable and still incomplete mathematical mosaic emerging from the efforts to understand the foundations of deep learning. The two key themes will be interpolation, and its sibling, over-parameterization. Interpolation corresponds to fitting data, even noisy data, exactly. Over-parameterization enables interpolation and provides flexibility to select a right interpolating model. As we will see, just as a physical prism separates colors mixed within a ray of light, the figurative prism of interpolation helps to disentangle generalization and optimization properties within the complex picture of modern Machine Learning. This article is written with belief and hope that clearer understanding of these issues brings us a step closer toward a general theory of deep learning and machine learning.
• Abstract（参考訳）: 過去10年間で、機械学習の数学的理論は、実用的な課題に対するディープニューラルネットワークの勝利よりもずっと遅れている。 しかし、理論と実践のギャップは徐々に狭まりつつある。 本稿では, 深層学習の基礎を理解するための試みから, 目覚ましい, まだ未完成な数学的モザイクのいくつかを組み立てることを試みる。 2つの主要なテーマは補間であり、その兄弟であるオーバーパラメータ化である。 補間は、正確にはノイズの多いデータでさえも適合するデータに対応する。 オーバーパラメータ化は補間を可能にし、適切な補間モデルを選択する柔軟性を提供する。 物理プリズムが光線の中に混ざった色を分離するのと同じように、補間の比法的プリズムは、現代の機械学習の複雑な画像の中で、一般化と最適化のプロパティを分離するのに役立ちます。 この記事は、これらの問題のより明確な理解が深層学習と機械学習の一般的な理論に一歩近づいたことを確信して書かれています。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Neural Causal Abstractions [63.21695740637627]
  我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。 本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。 本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
  論文  参考訳（メタデータ） (2024-01-05T02:00:27Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• A Message Passing Perspective on Learning Dynamics of Contrastive Learning [60.217972614379065]
  特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2023-03-08T08:27:31Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
  論文  参考訳（メタデータ） (2023-01-05T16:53:38Z)
• Envisioning Future Deep Learning Theories: Some Basic Concepts and Characteristics [30.365274034429508]
  将来的な深層学習理論は,3つの特徴を継承すべきである,と我々は主張する。 階層構造型ネットワークアーキテクチャ, 勾配法を用いてテキストに最適化されたパラメータ, テキスト圧縮的に進化するデータからの情報。 我々はこれらの特徴をTextitneurashedと呼ばれるグラフィカルモデルに統合し、ディープラーニングにおける一般的な経験的パターンを効果的に説明する。
  論文  参考訳（メタデータ） (2021-12-17T19:51:26Z)
• Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
  テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。 コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。 本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
  論文  参考訳（メタデータ） (2021-07-07T18:42:45Z)
• Unitary Learning for Deep Diffractive Neural Network [0.0]
  深層拡散型ニューラルネットワーク上での一元学習プロトコルを提案する。 単元学習における時間空間の進化特性を定式化し解明する。 予備的な応用として、単位学習を伴う深層拡散ニューラルネットワークを2次元分類と検証タスクに仮実装する。
  論文  参考訳（メタデータ） (2020-08-17T07:16:09Z)
• DeepNNK: Explaining deep models and their generalization using polytope interpolation [42.16401154367232]
  我々は,局所的なポリトープ生成手法を導入することにより,ニューラルネットワークの理解を深める。 提案したDeep Non Negative Kernel regression (NNK) フレームワークは、非生成的、理論的には単純、幾何学的に直感的である。
  論文  参考訳（メタデータ） (2020-07-20T22:05:24Z)
• Exploiting Contextual Information with Deep Neural Networks [5.787117733071416]
  文脈情報は、暗黙的かつ明示的な2つの根本的に異なる方法で活用できることを示します。 この論文では、文脈情報を2つの根本的に異なる方法で活用できることを示し、暗黙的かつ明示的に示す。
  論文  参考訳（メタデータ） (2020-06-21T03:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。