論文の概要: Mutual information estimation for graph convolutional neural networks

• arxiv url: http://arxiv.org/abs/2203.16887v1
• Date: Thu, 31 Mar 2022 08:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 02:51:38.192491
• Title: Mutual information estimation for graph convolutional neural networks
• Title（参考訳）: グラフ畳み込みニューラルネットワークにおける相互情報推定
• Authors: Marius C. Landverk and Signe Riemer-S{\o}rensen
• Abstract要約: 本稿では,学習中にネットワークの内部表現を追跡するアーキテクチャに依存しない手法を提案する。 グラフベースアーキテクチャで導入された帰納バイアスが、完全に接続されたニューラルネットワークに対して相互情報平面をどのように変化させるかを比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring model performance is a key issue for deep learning practitioners. However, we often lack the ability to explain why a specific architecture attains superior predictive accuracy for a given data set. Often, validation accuracy is used as a performance heuristic quantifying how well a network generalizes to unseen data, but it does not capture anything about the information flow in the model. Mutual information can be used as a measure of the quality of internal representations in deep learning models, and the information plane may provide insights into whether the model exploits the available information in the data. The information plane has previously been explored for fully connected neural networks and convolutional architectures. We present an architecture-agnostic method for tracking a network's internal representations during training, which are then used to create the mutual information plane. The method is exemplified for graph-based neural networks fitted on citation data. We compare how the inductive bias introduced in graph-based architectures changes the mutual information plane relative to a fully connected neural network.
• Abstract（参考訳）: モデルパフォーマンスの測定は、ディープラーニング実践者にとって重要な問題です。 しかし、特定のアーキテクチャが与えられたデータセットに対して優れた予測精度を達成した理由を説明する能力に欠けることが多い。 検証精度は、しばしば、ネットワークが不適切なデータにどの程度一般化するかを定量化するパフォーマンスヒューリスティックとして使用されるが、モデル内の情報フローについては何も捉えない。 相互情報は、ディープラーニングモデルの内部表現の質の尺度として利用することができ、情報プレーンは、モデルがデータの利用可能な情報を利用するかどうかについての洞察を提供することができる。 情報プレーンは、これまで完全に接続されたニューラルネットワークと畳み込みアーキテクチャのために研究されてきた。 本稿では,ネットワークの内部表現を学習中に追跡するためのアーキテクチャに依存しない手法を提案する。 この方法は、引用データに取り付けられたグラフベースのニューラルネットワークに例示される。 グラフベースのアーキテクチャで導入された帰納的バイアスが、完全接続されたニューラルネットワークに対する相互情報プレーンをどのように変化させるかを比較する。

関連論文リスト

• Enhancing Neural Network Interpretability Through Conductance-Based Information Plane Analysis [0.0]
  インフォメーションプレーン(Information Plane)は、ニューラルネットワーク内の情報の流れを分析するための概念的フレームワークである。 本稿では,入力特徴に対する感度尺度であるレイヤコンダクタンスを用いて情報平面解析を強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T23:10:42Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Mutual Information Scaling for Tensor Network Machine Learning [0.0]
  本稿では,テンソルネットワーク機械学習における相関解析の適用方法を示す。 古典的データが量子状態に類似した相関スケーリングパターンを持つかどうかを考察する。 我々は,MNISTデータセットとTiny Imagesデータセットのスケーリングパターンを特徴付け,後者における境界法スケーリングの明確な証拠を見出す。
  論文  参考訳（メタデータ） (2021-02-27T02:17:51Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Measuring Information Transfer in Neural Networks [46.37969746096677]
  ニューラルネットワークモデルにおける情報内容の定量化は、基本的にモデルのKolmogorov複雑性を推定するものだ。 本稿では,事前符号化に基づくニューラルネットワークモデルにおける一般化可能な情報の尺度を提案する。 L_IT$は、一般化可能な情報と一貫して相関し、モデルやデータセットのパターンや"知識"の尺度として使用できることを示す。
  論文  参考訳（メタデータ） (2020-09-16T12:06:42Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts [81.4757750425247]
  動的テキスト環境における質問応答について検討する。 構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2020-04-25T04:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。