論文の概要: Separation of scales and a thermodynamic description of feature learning in some CNNs

• arxiv url: http://arxiv.org/abs/2112.15383v1
• Date: Fri, 31 Dec 2021 10:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-03 19:24:05.291525
• Title: Separation of scales and a thermodynamic description of feature learning in some CNNs
• Title（参考訳）: CNNにおける尺度の分離と特徴学習の熱力学的記述
• Authors: Inbar Seroussi and Zohar Ringel
• Abstract要約: ディープニューラルネットワーク(DNN)は、情報を圧縮して蒸留するための強力なツールである。 このような場合の一般的な戦略は、基礎となる高速顕微鏡変数の不安定な振る舞いを平均化する緩やかな自由度を特定することである。 ここでは,過パラメータ化深層畳み込みニューラルネットワーク(CNN)の訓練終了時に発生するスケールの分離について述べる。 深層学習の熱力学理論は、いくつかの深い非線形CNN玩具モデルに対して正確な予測をもたらす。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) are powerful tools for compressing and distilling information. Due to their scale and complexity, often involving billions of inter-dependent internal degrees of freedom, exact analysis approaches often fall short. A common strategy in such cases is to identify slow degrees of freedom that average out the erratic behavior of the underlying fast microscopic variables. Here, we identify such a separation of scales occurring in over-parameterized deep convolutional neural networks (CNNs) at the end of training. It implies that neuron pre-activations fluctuate in a nearly Gaussian manner with a deterministic latent kernel. While for CNNs with infinitely many channels these kernels are inert, for finite CNNs they adapt and learn from data in an analytically tractable manner. The resulting thermodynamic theory of deep learning yields accurate predictions on several deep non-linear CNN toy models. In addition, it provides new ways of analyzing and understanding CNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、情報圧縮と蒸留のための強力なツールである。 スケールと複雑さのため、何十億もの相互依存の内的自由度を含むことが多いため、正確な分析アプローチは、しばしば不足する。 このような場合の一般的な戦略は、基礎となる高速顕微鏡変数の不安定な振る舞いを平均化する遅い自由度を特定することである。 ここでは,過度にパラメータ化された深層畳み込みニューラルネットワーク(CNN)で発生するスケールの分離について述べる。 これは、ニューロンの前活性化が決定論的潜在核とほぼガウス的方法で変動することを意味する。 無限に多くのチャネルを持つcnnではこれらのカーネルは不活性であるが、有限cnnでは解析的に扱いやすい方法でデータから適応し学習する。 深層学習の熱力学理論は、いくつかの深い非線形CNN玩具モデルに対して正確な予測をもたらす。 さらに、cnnの分析と理解のための新しい方法を提供する。

関連論文リスト

• On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
  畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 多くの学習問題におけるCNNに基づく推定器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
  論文  参考訳（メタデータ） (2024-03-25T06:42:02Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Interpreting convolutional neural networks' low dimensional approximation to quantum spin systems [1.631115063641726]
  畳み込みニューラルネットワーク(CNN)は、量子多体スピンシステムの基底状態を見つけるための変分モンテカルロ法と共に用いられている。 我々は,CNNがスピン系の学習をどのように最適化するかを理論的,実験的に分析し,CNNの低次元近似について検討する。 この結果から、CNNが量子スピンハミルトニアンをどのように近似するかの総合的で改善された理解を得ることができた。
  論文  参考訳（メタデータ） (2022-10-03T02:49:16Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Analytic Learning of Convolutional Neural Network For Pattern Recognition [20.916630175697065]
  バックプロパゲーション(BP)を用いた学習畳み込みニューラルネットワーク(CNN)は、時間とリソースを消費する。 解析的畳み込みニューラルネットワーク学習(ACnnL)を提案する。 ACnnLは、その類似した閉形式解を構築するが、正規化の制約が異なる。
  論文  参考訳（メタデータ） (2022-02-14T06:32:21Z)
• Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics [93.4221402881609]
  MobileNetsは、モバイル用のディープ畳み込みニューラルネットワーク(CNN)のファミリーである。 訓練後の量子化では、精度が著しく低下することが多い。 より小さなDWSCNNと通常のCNNの集合であるMobileNet-V1のマルチスケール分布ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-04-24T01:28:29Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• A New Neuromorphic Computing Approach for Epileptic Seizure Prediction [4.798958633851825]
  CNNは計算的に高価で電力が空腹です。 エネルギー効率のよいスパイクニューラルネットワーク(SNN)によって動機づけられた、発作予測のためのニューロモルフィックコンピューティングアプローチが本研究で提案されている。
  論文  参考訳（メタデータ） (2021-02-25T10:39:18Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。