論文の概要: A Rainbow in Deep Network Black Boxes

• arxiv url: http://arxiv.org/abs/2305.18512v2
• Date: Mon, 21 Oct 2024 05:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:57.872943
• Title: A Rainbow in Deep Network Black Boxes
• Title（参考訳）: 深層ネットワークブラックボックスのレインボー
• Authors: Florentin Guth, Brice Ménard, Gaspar Rochette, Stéphane Mallat,
• Abstract要約: ディープラーニングにおける中心的な疑問は、ディープネットワークによって学習された機能を理解することである。 このようなランダムな特徴モデルの深い拡張を提供し、レインボーモデルと呼ぶ。 レインボーネットワークは無限幅極限において決定論的(階層的)カーネルを定義することを証明している。
• 参考スコア（独自算出の注目度）: 12.130800774416757
• License:
• Abstract: A central question in deep learning is to understand the functions learned by deep networks. What is their approximation class? Do the learned weights and representations depend on initialization? Previous empirical work has evidenced that kernels defined by network activations are similar across initializations. For shallow networks, this has been theoretically studied with random feature models, but an extension to deep networks has remained elusive. Here, we provide a deep extension of such random feature models, which we call the rainbow model. We prove that rainbow networks define deterministic (hierarchical) kernels in the infinite-width limit. The resulting functions thus belong to a data-dependent RKHS which does not depend on the weight randomness. We also verify numerically our modeling assumptions on deep CNNs trained on image classification tasks, and show that the trained networks approximately satisfy the rainbow hypothesis. In particular, rainbow networks sampled from the corresponding random feature model achieve similar performance as the trained networks. Our results highlight the central role played by the covariances of network weights at each layer, which are observed to be low-rank as a result of feature learning.
• Abstract（参考訳）: ディープラーニングにおける中心的な疑問は、ディープネットワークによって学習された機能を理解することである。 彼らの近似クラスは何ですか。 学習した重みと表現は初期化に依存するか? 以前の実証研究は、ネットワークアクティベーションによって定義されたカーネルが初期化全体にわたって似ていることを証明している。 浅層ネットワークについては、理論的にはランダムな特徴モデルを用いて研究されてきたが、深層ネットワークへの拡張はいまだ解明されていない。 ここでは、このようなランダムな特徴モデルの深い拡張を提供し、これをレインボーモデルと呼ぶ。 レインボーネットワークは無限幅極限において決定論的(階層的)カーネルを定義することを証明している。 結果として得られる関数は、重量ランダム性に依存しないデータ依存RKHSに属する。 また、画像分類タスクで訓練された深部CNNのモデリング仮定を数値的に検証し、トレーニングされたネットワークが虹彩仮説をほぼ満たしていることを示す。 特に、対応するランダム特徴モデルからサンプリングされたレインボーネットワークは、トレーニングされたネットワークと同等の性能を達成する。 その結果,各層におけるネットワーク重みの共分散による中心的役割が強調され,特徴学習の結果,低ランクであることが確認された。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
  層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。 モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。 また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
  論文  参考訳（メタデータ） (2023-02-20T01:30:27Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• One-vs-Rest Network-based Deep Probability Model for Open Set Recognition [6.85316573653194]
  インテリジェントな自己学習システムは、既知の例と未知の例を区別することができるべきである。 1-vs-restネットワークは、よく使われるSoftMaxレイヤよりも、未知の例に対して、より有益な隠れ表現を提供することができる。 提案した確率モデルは、オープンセットの分類シナリオにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-17T05:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。