論文の概要: A Chain Graph Interpretation of Real-World Neural Networks

• arxiv url: http://arxiv.org/abs/2006.16856v2
• Date: Tue, 6 Oct 2020 11:14:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:54:09.918863
• Title: A Chain Graph Interpretation of Real-World Neural Networks
• Title（参考訳）: 実世界のニューラルネットワークの連鎖グラフ解釈
• Authors: Yuesong Shen, Daniel Cremers
• Abstract要約: 本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
• 参考スコア（独自算出の注目度）: 58.78692706974121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The last decade has witnessed a boom of deep learning research and applications achieving state-of-the-art results in various domains. However, most advances have been established empirically, and their theoretical analysis remains lacking. One major issue is that our current interpretation of neural networks (NNs) as function approximators is too generic to support in-depth analysis. In this paper, we remedy this by proposing an alternative interpretation that identifies NNs as chain graphs (CGs) and feed-forward as an approximate inference procedure. The CG interpretation specifies the nature of each NN component within the rich theoretical framework of probabilistic graphical models, while at the same time remains general enough to cover real-world NNs with arbitrary depth, multi-branching and varied activations, as well as common structures including convolution / recurrent layers, residual block and dropout. We demonstrate with concrete examples that the CG interpretation can provide novel theoretical support and insights for various NN techniques, as well as derive new deep learning approaches such as the concept of partially collapsed feed-forward inference. It is thus a promising framework that deepens our understanding of neural networks and provides a coherent theoretical formulation for future deep learning research.
• Abstract（参考訳）: 過去10年間、さまざまな領域で最先端の研究と応用が盛んに行われてきた。 しかし、ほとんどの進歩は実証的に確立されており、その理論的分析はまだ不十分である。 ひとつの大きな問題は、ニューラルネットワーク(NN)を関数近似器として解釈することは、詳細な分析をサポートするには一般的すぎることです。 本稿では,nnsを連鎖グラフ (cgs) として,フィードフォワードを近似推定法として,代替解釈を提案することで,この問題を解決した。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する一方で、実際のNNを任意の深さ、マルチブランチ、様々なアクティベーションでカバーし、畳み込み/リカレント層、残留ブロック、ドロップアウトなどの共通構造をカバーしている。 我々は, cg解釈が様々なnn手法に対して新しい理論的支援と洞察を提供するとともに, 部分的に崩壊したフィードフォワード推論の概念のような新しい深層学習アプローチを導出できることを具体例で示す。 したがって、ニューラルネットワークの理解を深め、将来のディープラーニング研究に一貫性のある理論的な定式化を提供する、有望なフレームワークである。

関連論文リスト

• Understanding Deep Learning via Notions of Rank [5.439020425819001]
  この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。 特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。 明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
  論文  参考訳（メタデータ） (2024-08-04T18:47:55Z)
• Foundations and Frontiers of Graph Learning Theory [81.39078977407719]
  グラフ学習の最近の進歩は、複雑な構造を持つデータを理解し分析する方法に革命をもたらした。 グラフニューラルネットワーク(GNN)、すなわちグラフ表現を学習するために設計されたニューラルネットワークアーキテクチャは、一般的なパラダイムとなっている。 本稿では,グラフ学習モデルに固有の近似と学習行動に関する理論的基礎とブレークスルーについて概説する。
  論文  参考訳（メタデータ） (2024-07-03T14:07:41Z)
• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Neural Network Learning Dynamics in the Kernel Regime [7.136205674624813]
  ニューラルネットワークの学習過程を無限の幅制限で理解するための包括的フレームワークを提供する。 我々は、勾配駆動学習と拡散学習という、異なる時間スケールで特徴づけられる2つの学習フェーズを同定する。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• The semantic landscape paradigm for neural networks [0.0]
  本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。 具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
  論文  参考訳（メタデータ） (2023-07-18T18:48:54Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。