論文の概要: A simple theory for training response of deep neural networks

• arxiv url: http://arxiv.org/abs/2405.04074v1
• Date: Tue, 7 May 2024 07:20:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 14:59:23.587549
• Title: A simple theory for training response of deep neural networks
• Title（参考訳）: 深部ニューラルネットワークの学習応答に関する簡単な理論
• Authors: Kenichi Nakazato,
• Abstract要約: ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。 トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。 さらに,ネットワークの脆弱性を生じさせるトレーニング力学の効果として,特徴空間の削減を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks give us a powerful method to model the training dataset's relationship between input and output. We can regard that as a complex adaptive system consisting of many artificial neurons that work as an adaptive memory as a whole. The network's behavior is training dynamics with a feedback loop from the evaluation of the loss function. We already know the training response can be constant or shows power law-like aging in some ideal situations. However, we still have gaps between those findings and other complex phenomena, like network fragility. To fill the gap, we introduce a very simple network and analyze it. We show the training response consists of some different factors based on training stages, activation functions, or training methods. In addition, we show feature space reduction as an effect of stochastic training dynamics, which can result in network fragility. Finally, we discuss some complex phenomena of deep networks.
• Abstract（参考訳）: ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。 適応メモリとして機能する多くの人工ニューロンからなる複雑な適応システムとみなすことができる。 ネットワークの動作は、損失関数の評価からフィードバックループで動的にトレーニングする。 トレーニングのレスポンスが一定であることや、いくつかの理想的な状況で法則のような老化を示すことは、すでに分かっています。 しかし、これらの発見と、ネットワークの脆弱性のような他の複雑な現象との間にはまだギャップがあります。 ギャップを埋めるため、非常に単純なネットワークを導入し、分析する。 トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。 さらに,ネットワークの脆弱性を生じさせる確率的トレーニングダイナミクスの効果として,特徴空間の削減を示す。 最後に,深層ネットワークの複雑な現象について論じる。

関連論文リスト

• DASH: Warm-Starting Neural Network Training in Stationary Settings without Loss of Plasticity [11.624569521079426]
  我々は,実世界のニューラルネットワークトレーニングを模擬したフレームワークを開発し,静止データ上での暖房開始時の可塑性損失の主な原因としてノイズ記憶を同定する。 そこで本研究では,学習した特徴を保ちながら雑音を選択的に忘れることによって可塑性損失を軽減することを目的としたDASH(Direction-Aware SHrinking)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T22:57:54Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Stacked networks improve physics-informed training: applications to neural networks and deep operator networks [0.9999629695552196]
  本稿では,物理インフォームドニューラルネットワークと演算子ネットワークを積み重ねる新しい多元性フレームワークを提案する。 物理インフォームドニューラルネットワークと演算子ネットワークの精度向上と必要なサイズ削減のために,スタックリングがいかに有効かを示す。
  論文  参考訳（メタデータ） (2023-11-11T05:43:54Z)
• Spiking mode-based neural networks [2.5690340428649328]
  スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。 大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。 本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:54:17Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。