論文の概要: Deep neural networks from the perspective of ergodic theory
- arxiv url: http://arxiv.org/abs/2308.03888v1
- Date: Fri, 4 Aug 2023 10:55:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 15:06:18.349916
- Title: Deep neural networks from the perspective of ergodic theory
- Title(参考訳): エルゴード理論から見たディープニューラルネットワーク
- Authors: Fan Zhang
- Abstract要約: いくつかの親指の規則は、そうでなければ謎のように見え、エルゴード理論に帰せられる。
深層ニューラルネットワークの設計は、正確な科学というよりはむしろ芸術である。
- 参考スコア(独自算出の注目度): 4.904376029055162
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The design of deep neural networks remains somewhat of an art rather than
precise science. By tentatively adopting ergodic theory considerations on top
of viewing the network as the time evolution of a dynamical system, with each
layer corresponding to a temporal instance, we show that some rules of thumb,
which might otherwise appear mysterious, can be attributed heuristics.
- Abstract(参考訳): 深層ニューラルネットワークの設計は、正確な科学というよりはむしろ芸術である。
ネットワークを動的システムの時間的進化と見なす上でのエルゴード理論の考察を仮に採用することにより、時間的インスタンスに対応する各層が、不可解なように見える親指の規則をヒューリスティックスとみなすことができることを示す。
関連論文リスト
- Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - The semantic landscape paradigm for neural networks [0.0]
本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。
具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
論文 参考訳(メタデータ) (2023-07-18T18:48:54Z) - Absorbing Phase Transitions in Artificial Deep Neural Networks [0.5833117322405447]
相転移を吸収する際の普遍的臨界現象の観点から、適切に普遍性ニューラルネットワークを理解することができることを示す。
顕著なことに、有限サイズのスケーリングもうまく適用でき、直観的な議論が信号伝搬ダイナミクスの半定量的記述に繋がることを示唆している。
論文 参考訳(メタデータ) (2023-07-05T13:39:02Z) - Random matrix theory and the loss surfaces of neural networks [0.0]
乱数行列理論を用いて、大きなニューラルネットワークの損失面を理解し、記述する。
我々は、ニューラルネットワーク損失面のヘッセンとそのスペクトルについて、強力で新しい結果を得る。
この論文は、現代のニューラルネットワークの理論研究におけるランダム行列理論の位置づけに重要な貢献をする。
論文 参考訳(メタデータ) (2023-06-03T13:16:17Z) - Formal Conceptual Views in Neural Networks [0.0]
本稿では,ニューラルネットワークの概念的視点,特に多値・記号的視点の2つの概念を紹介する。
我々は、ImageNetとFruit-360データセットの異なる実験を通して、新しいビューの概念的表現性をテストする。
本研究では,ニューロンからの人間の理解可能なルールの帰納的学習に概念的視点が適用可能であることを実証する。
論文 参考訳(メタデータ) (2022-09-27T16:38:24Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Path sampling of recurrent neural networks by incorporating known
physics [0.0]
我々は、再帰的なニューラルネットワークに一般的な熱力学または運動論的制約を組み込むことができる経路サンプリング手法を示す。
本稿では,長期記憶ネットワークとして広く利用されているリカレントニューラルネットワークについて述べる。
我々の手法は、他の生成人工知能モデルや、物理・社会科学の様々な分野における一般的な時系列に容易に一般化できる。
論文 参考訳(メタデータ) (2022-03-01T16:35:50Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。