Fugu-MT 論文翻訳(概要): Structures of Neural Network Effective Theories

論文の概要: Structures of Neural Network Effective Theories

arxiv url: http://arxiv.org/abs/2305.02334v1
Date: Wed, 3 May 2023 18:00:00 GMT
ステータス: 処理完了
システム内更新日: 2023-05-05 18:24:45.060900
Title: Structures of Neural Network Effective Theories
Title（参考訳）: ニューラルネットワークの有効理論の構造
Authors: Ian Banta, Tianji Cai, Nathaniel Craig, Zhengkang Zhang
Abstract要約: 我々は、ディープニューラルネットワークに対応する有効場理論に対する図式的アプローチを開発する。 EFT計算の構造は、単一条件がニューロン前活性化の全ての連結コレラレータの臨界性を支配することを透明にする。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We develop a diagrammatic approach to effective field theories (EFTs) corresponding to deep neural networks at initialization, which dramatically simplifies computations of finite-width corrections to neuron statistics. The structures of EFT calculations make it transparent that a single condition governs criticality of all connected correlators of neuron preactivations. Understanding of such EFTs may facilitate progress in both deep learning and field theory simulations.
Abstract（参考訳）: 我々は、有限幅補正の計算をニューロン統計に劇的に単純化する、深層ニューラルネットワークに対応する有効場理論(EFT)への図式的アプローチを開発する。 EFT計算の構造は、単一条件がニューロン前活性化の全ての連結コレレータの臨界性を支配することを透明にする。このようなETFを理解することは、深層学習と場の理論シミュレーションの進展を促進する可能性がある。

関連論文リスト

Understanding Artificial Neural Network's Behavior from Neuron Activation Perspective [8.251799609350725]
本稿では,ニューロン活性化ダイナミクスのレンズによるディープニューラルネットワーク(DNN)の複雑な動作について検討する。本稿では,モデルのニューロン活性化パターンをプロセスとして解析する確率的フレームワークを提案する。
論文参考訳（メタデータ） (2024-12-24T01:01:06Z)
Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Statistical Physics of Deep Neural Networks: Initialization toward Optimal Channels [6.144858413112823]
ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
論文参考訳（メタデータ） (2022-12-04T05:13:01Z)
Extended critical regimes of deep neural networks [0.0]
重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
論文参考訳（メタデータ） (2022-03-24T10:15:50Z)
Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
論文参考訳（メタデータ） (2021-11-17T03:37:06Z)
Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文参考訳（メタデータ） (2021-06-15T05:30:17Z)
Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文参考訳（メタデータ） (2021-05-27T12:27:24Z)
Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文参考訳（メタデータ） (2020-09-01T09:07:25Z)
A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文参考訳（メタデータ） (2020-06-30T14:46:08Z)
A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。