論文の概要: Dissecting a Small Artificial Neural Network
- arxiv url: http://arxiv.org/abs/2501.08341v1
- Date: Fri, 03 Jan 2025 21:14:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-19 08:09:26.664156
- Title: Dissecting a Small Artificial Neural Network
- Title（参考訳）: 小さなニューラルネットワークを分割する
- Authors: Xiguang Yang, Krish Arora, Michael Bachmann,
- Abstract要約: 論理排他論理(XOR)ゲートを表す最も単純な人工ニューラルネットワークの損失景観と収束のバックプロパゲーションダイナミクスについて検討する。
9次元パラメータ空間におけるロスランドスケープの断面は異なる特徴を示しており、なぜバックプロパゲーションがゼロロスへの収束を達成できるのかを理解するのに役立つ。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: We investigate the loss landscape and backpropagation dynamics of convergence for the simplest possible artificial neural network representing the logical exclusive-OR (XOR) gate. Cross-sections of the loss landscape in the nine-dimensional parameter space are found to exhibit distinct features, which help understand why backpropagation efficiently achieves convergence toward zero loss, whereas values of weights and biases keep drifting. Differences in shapes of cross-sections obtained by nonrandomized and randomized batches are discussed. In reference to statistical physics we introduce the microcanonical entropy as a unique quantity that allows to characterize the phase behavior of the network. Learning in neural networks can thus be thought of as an annealing process that experiences the analogue of phase transitions known from thermodynamic systems. It also reveals how the loss landscape simplifies as more hidden neurons are added to the network, eliminating entropic barriers caused by finite-size effects.
- Abstract（参考訳）: 論理排他論理(XOR)ゲートを表す最も単純な人工ニューラルネットワークの損失景観と収束のバックプロパゲーションダイナミクスについて検討する。
9次元パラメータ空間におけるロスランドスケープの断面は、バックプロパゲーションが効率よくゼロ損失への収束を達成できるのに対して、ウェイトとバイアスの値はドリフトし続けるのに役立っている。
非ランダム化およびランダム化バッチによって得られる断面形状の相違について論じる。
統計物理学に関して、ネットワークの位相挙動を特徴づけることのできるユニークな量として、マイクロカノニカルエントロピーを導入する。
したがって、ニューラルネットワークでの学習は熱力学系から知られている相転移の類似を経験するアニール過程と考えることができる。
また、ロスランドスケープがネットワークにより多くの隠れたニューロンを追加することで単純化され、有限サイズの効果によって引き起こされるエントロピー障壁が排除される。
関連論文リスト
- Topological obstruction to the training of shallow ReLU neural networks [0.0]
損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。
本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
論文 参考訳（メタデータ） (2024-10-18T19:17:48Z) - Macroscopic auxiliary asymptotic preserving neural networks for the
linear radiative transfer equations [3.585855304503951]
時間依存線形放射移動方程式を解くために, マクロスコピック補助漸近保存ニューラルネットワーク (MA-APNN) 法を開発した。
我々はMA-APNNの有効性を示す数値的な例をいくつか提示する。
論文 参考訳（メタデータ） (2024-03-04T08:10:42Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Critical Investigation of Failure Modes in Physics-informed Neural
Networks [0.9137554315375919]
合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。
また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
論文 参考訳（メタデータ） (2022-06-20T18:43:35Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Learning the ground state of a non-stoquastic quantum Hamiltonian in a
rugged neural network landscape [0.0]
ニューラルネットワークに基づく普遍的変動波動関数のクラスについて検討する。
特に,本稿では,ニューラルネットワークの表現率とモンテカルロサンプリングが一次制限因子ではないことを示す。
論文 参考訳（メタデータ） (2020-11-23T05:25:47Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文 参考訳（メタデータ） (2019-12-31T22:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。