論文の概要: Do deep neural networks have an inbuilt Occam's razor?

• arxiv url: http://arxiv.org/abs/2304.06670v1
• Date: Thu, 13 Apr 2023 16:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 13:37:43.713102
• Title: Do deep neural networks have an inbuilt Occam's razor?
• Title（参考訳）: ディープニューラルネットワークはOccamのカミソリを内蔵しているか?
• Authors: Chris Mingard and Henry Rees and Guillermo Valle-P\'erez and Ard A. Louis
• Abstract要約: 構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
• 参考スコア（独自算出の注目度）: 1.1470070927586016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable performance of overparameterized deep neural networks (DNNs) must arise from an interplay between network architecture, training algorithms, and structure in the data. To disentangle these three components, we apply a Bayesian picture, based on the functions expressed by a DNN, to supervised learning. The prior over functions is determined by the network, and is varied by exploiting a transition between ordered and chaotic regimes. For Boolean function classification, we approximate the likelihood using the error spectrum of functions on data. When combined with the prior, this accurately predicts the posterior, measured for DNNs trained with stochastic gradient descent. This analysis reveals that structured data, combined with an intrinsic Occam's razor-like inductive bias towards (Kolmogorov) simple functions that is strong enough to counteract the exponential growth of the number of functions with complexity, is a key to the success of DNNs.
• Abstract（参考訳）: 過パラメータ化ディープニューラルネットワーク(DNN)の顕著なパフォーマンスは、ネットワークアーキテクチャ、トレーニングアルゴリズム、データ構造間の相互作用から生じなければならない。 これら3つの成分をアンタングル化するために、DNNで表現される関数に基づいたベイズ図を教師あり学習に適用する。 事前のオーバー関数はネットワークによって決定され、順序とカオスのレジーム間の遷移を利用して変化する。 ブール関数の分類では,データ上の関数の誤差スペクトルを用いて確率を近似する。 前者と組み合わせると、これは確率勾配降下で訓練されたDNNの後方を正確に予測する。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑性のある関数の指数的増加を抑えるのに十分な強度を持つことがDNNの成功の鍵であることが分かる。

関連論文リスト

• Visualising Feature Learning in Deep Neural Networks by Diagonalizing the Forward Feature Map [4.776836972093627]
  本稿では,ディープニューラルネットワーク(DNN)を分解して特徴学習を分析する手法を提案する。 DNNはクラス数に等しい多くの固有関数に支配される最小特徴(MF)体制に収束する。 我々は、神経崩壊現象を、回帰のようなより広範なタスクに拡張できるカーネルイメージに再キャストする。
  論文  参考訳（メタデータ） (2024-10-05T18:53:48Z)
• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Functional Neural Networks: Shift invariant models for functional data with applications to EEG classification [0.0]
  我々は、データのスムーズさを保ちながら不変な新しいタイプのニューラルネットワークを導入する:関数型ニューラルネットワーク(FNN) そこで我々は,多層パーセプトロンと畳み込みニューラルネットワークを機能データに拡張するために,機能データ分析(FDA)の手法を用いる。 脳波(EEG)データの分類にFNNをうまく利用し,FDAのベンチマークモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-14T09:41:21Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Dynamical systems' based neural networks [0.7874708385247353]
  我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。 ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。 2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
  論文  参考訳（メタデータ） (2022-10-05T16:30:35Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
  我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。 具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2022-05-17T19:22:48Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。