論文の概要: Decomposing neural networks as mappings of correlation functions

• arxiv url: http://arxiv.org/abs/2202.04925v1
• Date: Thu, 10 Feb 2022 09:30:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 16:23:28.260388
• Title: Decomposing neural networks as mappings of correlation functions
• Title（参考訳）: 相関関数のマッピングとしてのニューラルネットワークの分解
• Authors: Kirsten Fischer, Alexandre Ren\'e, Christian Keup, Moritz Layer, David Dahmen, Moritz Helias
• Abstract要約: 本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
• 参考スコア（独自算出の注目度）: 57.52754806616669
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.
• Abstract（参考訳）: 深層ニューラルネットワークにおける情報処理の機能原理を理解することは、特にトレーニング済みで非ランダムな重みを持つネットワークにとって、依然として課題である。 そこで本研究では,ディープフィードフォワードネットワークによって実現される確率分布のマッピングについて検討する。 この写像を、各層内の非線形性が相関関数の異なる次数の間で情報を伝達する分布の反復変換として特徴づける。 これにより、データの本質的な統計や、ニューラルネットワークで使用できるさまざまな情報表現を識別することができます。 XOR タスクと MNIST に適用すると,2階までの相関関係が内部層における情報処理を主に捉えているのに対し,入力層はデータから高次相関関係を抽出する。 この分析は分類に関する定量的かつ説明可能な視点を提供する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
  本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。 MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T18:00:05Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Inference Graphs for CNN Interpretation [12.765543440576144]
  畳み込みニューラルネットワーク(CNN)は多くの視覚関連タスクにおいて優れた精度を実現している。 本稿では,確率モデルを用いたネットワーク隠蔽層の活動のモデル化を提案する。 このようなグラフは、クラス全体の推論プロセスの理解や、ネットワークが特定の画像に対して行う決定を説明するのに有用であることを示す。
  論文  参考訳（メタデータ） (2021-10-20T13:56:09Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Mutual Information Scaling for Tensor Network Machine Learning [0.0]
  本稿では,テンソルネットワーク機械学習における相関解析の適用方法を示す。 古典的データが量子状態に類似した相関スケーリングパターンを持つかどうかを考察する。 我々は,MNISTデータセットとTiny Imagesデータセットのスケーリングパターンを特徴付け,後者における境界法スケーリングの明確な証拠を見出す。
  論文  参考訳（メタデータ） (2021-02-27T02:17:51Z)
• Interpretable Neural Networks based classifiers for categorical inputs [0.0]
  本稿では,入力カテゴリ変数として扱うニューラルネットワーク分類器の出力関数を簡易に解釈する手法を提案する。 これらの場合、ネットワークの各層、特にロジット層は、各入力パターンの分類に寄与する用語の総和として拡張可能であることを示す。 適切なゲージ変換後の各パターンのコントリビューションの分析を,本手法の有効性が評価できる2つの事例に示す。
  論文  参考訳（メタデータ） (2021-02-05T14:38:50Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。