Fugu-MT 論文翻訳(概要): Deep neural networks from the perspective of ergodic theory

論文の概要: Deep neural networks from the perspective of ergodic theory

arxiv url: http://arxiv.org/abs/2308.03888v1
Date: Fri, 4 Aug 2023 10:55:56 GMT
ステータス: 処理完了
システム内更新日: 2023-08-09 15:06:18.349916
Title: Deep neural networks from the perspective of ergodic theory
Title（参考訳）: エルゴード理論から見たディープニューラルネットワーク
Authors: Fan Zhang
Abstract要約: いくつかの親指の規則は、そうでなければ謎のように見え、エルゴード理論に帰せられる。深層ニューラルネットワークの設計は、正確な科学というよりはむしろ芸術である。
参考スコア（独自算出の注目度）: 4.904376029055162
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The design of deep neural networks remains somewhat of an art rather than precise science. By tentatively adopting ergodic theory considerations on top of viewing the network as the time evolution of a dynamical system, with each layer corresponding to a temporal instance, we show that some rules of thumb, which might otherwise appear mysterious, can be attributed heuristics.
Abstract（参考訳）: 深層ニューラルネットワークの設計は、正確な科学というよりはむしろ芸術である。ネットワークを動的システムの時間的進化と見なす上でのエルゴード理論の考察を仮に採用することにより、時間的インスタンスに対応する各層が、不可解なように見える親指の規則をヒューリスティックスとみなすことができることを示す。

関連論文リスト

Emergent weight morphologies in deep neural networks [0.0]
深層ニューラルネットワークのトレーニングは、トレーニングデータとは無関係に、創発的な重量形態を生じさせることを示す。我々の研究は、ディープニューラルネットワークのトレーニングの出現を示し、ディープニューラルネットワークの達成可能なパフォーマンスに影響を与える。
論文参考訳（メタデータ） (2025-01-09T19:48:51Z)
Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
論文参考訳（メタデータ） (2024-10-17T17:47:54Z)
Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文参考訳（メタデータ） (2024-10-09T21:37:14Z)
Exploiting Chaotic Dynamics as Deep Neural Networks [1.9282110216621833]
カオスの本質は、様々な最先端のディープニューラルネットワークで見ることができる。本フレームワークは精度,収束速度,効率の点で優れた結果を提示する。この研究は、情報処理において長い間見過ごされてきたカオスの統合のための新しい道を提供する。
論文参考訳（メタデータ） (2024-05-29T22:03:23Z)
The semantic landscape paradigm for neural networks [0.0]
本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
論文参考訳（メタデータ） (2023-07-18T18:48:54Z)
Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文参考訳（メタデータ） (2023-03-30T02:40:28Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文参考訳（メタデータ） (2021-02-22T17:33:51Z)
A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文参考訳（メタデータ） (2020-06-30T14:46:08Z)
Controlling Recurrent Neural Networks by Conceptors [0.5439020425818999]
本稿では, 非線形力学と概念抽象と論理の基本原理を結合した, 概念論という, 神経力学の機構を提案する。単一のニューラルネットワーク内の多数の動的パターンを学習、保存、抽象化、フォーカス、モーフィック、一般化、デノイズ化、認識することが可能になります。
論文参考訳（メタデータ） (2014-03-13T18:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。