Fugu-MT 論文翻訳(概要): On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models

論文の概要: On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models

arxiv url: http://arxiv.org/abs/2305.17583v4
Date: Fri, 08 Nov 2024 19:27:14 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-12 14:05:55.820795
Title: On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models
Title（参考訳）: 無限木構造確率的図形モデルとしてのニューラルネットワークについて
Authors: Boyao Li, Alexandar J. Thomson, Houssam Nassif, Matthew M. Engelhard, David Page,
Abstract要約: 本稿では,ニューラルネットワークに対応する無限木構造PGMを構築することにより,革新的な解を提案する。我々の研究は、DNNが前方伝播中に、この代替のPGM構造において正確であるPGMの近似を実行することを明らかにした。
参考スコア（独自算出の注目度）: 44.676210493587256
License:
Abstract: Deep neural networks (DNNs) lack the precise semantics and definitive probabilistic interpretation of probabilistic graphical models (PGMs). In this paper, we propose an innovative solution by constructing infinite tree-structured PGMs that correspond exactly to neural networks. Our research reveals that DNNs, during forward propagation, indeed perform approximations of PGM inference that are precise in this alternative PGM structure. Not only does our research complement existing studies that describe neural networks as kernel machines or infinite-sized Gaussian processes, it also elucidates a more direct approximation that DNNs make to exact inference in PGMs. Potential benefits include improved pedagogy and interpretation of DNNs, and algorithms that can merge the strengths of PGMs and DNNs.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、確率的グラフィカルモデル(PGM)の正確なセマンティクスと決定的な確率論的解釈を欠いている。本稿では,ニューラルネットワークと正確に一致する無限木構造PGMを構築することにより,革新的な解を提案する。我々の研究は、DNNが前方伝播中に、この代替のPGM構造において正確であるPGMの近似を実行することを明らかにした。我々の研究は、ニューラルネットワークをカーネルマシンや無限サイズのガウス過程として記述する既存の研究を補完するだけでなく、DNNがPGMの正確な推論を行うための、より直接的な近似も解明している。潜在的な利点としては、教育とDNNの解釈の改善、PGMとDNNの強みをマージするアルゴリズムなどがある。

関連論文リスト

Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
論文参考訳（メタデータ） (2024-06-04T12:47:13Z)
Satellite Anomaly Detection Using Variance Based Genetic Ensemble of Neural Networks [7.848121055546167]
複数のリカレントニューラルネットワーク(RNN)からの予測の効率的なアンサンブルを用いる。予測のために、各RNNモデルに対して最適な構造を構築する遺伝的アルゴリズム(GA)によって、各RNNを導出する。本稿では,BNNの近似版としてモンテカルロ(MC)ドロップアウトを用いる。
論文参考訳（メタデータ） (2023-02-10T22:09:00Z)
Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective [22.82625446308785]
グラフニューラルネットワーク(GNN)の理解のための新しい視点を提案する。本研究では,深いGNNに着目し,その理解のための新しい視点を提案する。我々はより強力なGNN:結合グラフニューラルネットワーク(CoGNet)を設計する。
論文参考訳（メタデータ） (2023-01-25T12:02:12Z)
Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文参考訳（メタデータ） (2022-12-18T08:17:32Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文参考訳（メタデータ） (2022-05-31T17:02:26Z)
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks [33.20913249848369]
グラフニューラルネットワーク(GNN)は、グラフデータを入力として扱うディープラーニングモデルであり、トラフィック予測や分子特性予測といった様々なタスクに適用される。本稿では,CNNに対する説明可能性の手法として,LIME(Local Interpretable Model-Agnostic Explanations)やGradient-Based Saliency Maps,Gradient-Weighted Class Activation Mapping(Grad-CAM)をGNNに拡張する。実験結果から,LIMEに基づくアプローチは実環境における複数のタスクに対する最も効率的な説明可能性手法であり,その状態においても優れていたことが示唆された。
論文参考訳（メタデータ） (2021-11-01T06:27:29Z)
The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文参考訳（メタデータ） (2020-10-02T19:53:05Z)
How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文参考訳（メタデータ） (2020-09-24T17:48:59Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。