論文の概要: The semantic landscape paradigm for neural networks
- arxiv url: http://arxiv.org/abs/2307.09550v1
- Date: Tue, 18 Jul 2023 18:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 16:26:52.227913
- Title: The semantic landscape paradigm for neural networks
- Title(参考訳): ニューラルネットワークのための意味的ランドスケープパラダイム
- Authors: Shreyas Gokhale
- Abstract要約: 本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。
具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks exhibit a fascinating spectrum of phenomena ranging from
predictable scaling laws to the unpredictable emergence of new capabilities as
a function of training time, dataset size and network size. Analysis of these
phenomena has revealed the existence of concepts and algorithms encoded within
the learned representations of these networks. While significant strides have
been made in explaining observed phenomena separately, a unified framework for
understanding, dissecting, and predicting the performance of neural networks is
lacking. Here, we introduce the semantic landscape paradigm, a conceptual and
mathematical framework that describes the training dynamics of neural networks
as trajectories on a graph whose nodes correspond to emergent algorithms that
are instrinsic to the learned representations of the networks. This abstraction
enables us to describe a wide range of neural network phenomena in terms of
well studied problems in statistical physics. Specifically, we show that
grokking and emergence with scale are associated with percolation phenomena,
and neural scaling laws are explainable in terms of the statistics of random
walks on graphs. Finally, we discuss how the semantic landscape paradigm
complements existing theoretical and practical approaches aimed at
understanding and interpreting deep neural networks.
- Abstract(参考訳): ディープニューラルネットワークは、予測可能なスケーリング法則から、トレーニング時間、データセットサイズ、ネットワークサイズといった新たな能力の予測不能な出現まで、興味深い現象のスペクトルを示しています。
これらの現象の分析により、これらのネットワークの学習された表現の中にエンコードされた概念とアルゴリズムの存在が明らかになった。
観測された現象を別々に説明する上で重要な進歩がなされているが、ニューラルネットワークのパフォーマンスを理解し、解剖し、予測するための統一的な枠組みが欠如している。
本稿では、ニューラルネットワークのトレーニングダイナミクスを、ノードがネットワークの学習した表現に内在する創発的アルゴリズムに対応するグラフ上の軌跡として記述する、概念的および数学的枠組みであるセマンティックスケープパラダイムを紹介する。
この抽象化により、統計物理学におけるよく研究された問題の観点から、幅広いニューラルネットワーク現象を記述できる。
具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
最後に,深層ニューラルネットワークの理解と解釈を目的とした理論的および実践的なアプローチを,セマンティックランドスケープパラダイムが補完する方法について論じる。
関連論文リスト
- Absorbing Phase Transitions in Artificial Deep Neural Networks [0.5833117322405447]
相転移を吸収する際の普遍的臨界現象の観点から、適切に普遍性ニューラルネットワークを理解することができることを示す。
顕著なことに、有限サイズのスケーリングもうまく適用でき、直観的な議論が信号伝搬ダイナミクスの半定量的記述に繋がることを示唆している。
論文 参考訳(メタデータ) (2023-07-05T13:39:02Z) - Neuro-symbolic computing with spiking neural networks [0.6035125735474387]
我々は、スパイクベースのグラフアルゴリズムに関するこれまでの研究を、スパイクニューロンを用いてシンボリックおよびマルチリレーショナル情報をエンコードする方法を実証することによって拡張した。
導入されたフレームワークは、グラフ埋め込みパラダイムと、エラーバックプロパゲーションを用いたスパイクニューラルネットワークのトレーニングの最近の進歩を組み合わせることで実現されている。
論文 参考訳(メタデータ) (2022-08-04T10:49:34Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳(メタデータ) (2022-05-30T18:04:57Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
論文 参考訳(メタデータ) (2021-10-21T23:49:23Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - The Representation Theory of Neural Networks [7.724617675868718]
ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。
ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。
また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
論文 参考訳(メタデータ) (2020-07-23T19:02:14Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳(メタデータ) (2020-07-18T01:11:14Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳(メタデータ) (2020-07-13T17:59:31Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳(メタデータ) (2020-06-30T14:46:08Z) - Complexity for deep neural networks and other characteristics of deep
feature representations [0.0]
ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。
トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
論文 参考訳(メタデータ) (2020-06-08T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。