論文の概要: Analysis of function approximation and stability of general DNNs in
directed acyclic graphs using un-rectifying analysis
- arxiv url: http://arxiv.org/abs/2206.05997v1
- Date: Mon, 13 Jun 2022 09:37:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 16:28:28.704400
- Title: Analysis of function approximation and stability of general DNNs in
directed acyclic graphs using un-rectifying analysis
- Title（参考訳）: 非修正解析を用いた有向非巡回グラフにおける一般DNNの関数近似と安定性の解析
- Authors: Wen-Liang Hwang and Shih-Shuo Tung
- Abstract要約: ボトムアップから原子操作を基本要素に適用することでDAGを構築できる公理的手法に基づく解析グラフを構築した。
提案手法を用いることで、一般的なDNNに対して真である性質を導出できることが示される。
この分析によってネットワーク関数の理解が進み、グラフ解析ツールのホストを活用できれば、さらなる理論的洞察がもたらされる可能性がある。
- 参考スコア（独自算出の注目度）: 3.04585143845864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A general lack of understanding pertaining to deep feedforward neural
networks (DNNs) can be attributed partly to a lack of tools with which to
analyze the composition of non-linear functions, and partly to a lack of
mathematical models applicable to the diversity of DNN architectures. In this
paper, we made a number of basic assumptions pertaining to activation
functions, non-linear transformations, and DNN architectures in order to use
the un-rectifying method to analyze DNNs via directed acyclic graphs (DAGs).
DNNs that satisfy these assumptions are referred to as general DNNs. Our
construction of an analytic graph was based on an axiomatic method in which
DAGs are built from the bottom-up through the application of atomic operations
to basic elements in accordance with regulatory rules. This approach allows us
to derive the properties of general DNNs via mathematical induction. We show
that using the proposed approach, some properties hold true for general DNNs
can be derived. This analysis advances our understanding of network functions
and could promote further theoretical insights if the host of analytical tools
for graphs can be leveraged.
- Abstract（参考訳）: ディープフィードフォワードニューラルネットワーク(DNN)に関する一般的な理解の欠如は、非線形関数の構成を分析するツールの欠如と、DNNアーキテクチャの多様性に適用可能な数学的モデルの欠如によるものである。
本稿では,不整合法を用いて有向非巡回グラフ(DAG)を用いてDNNを解析するために,アクティベーション関数,非線形変換,DNNアーキテクチャに関するいくつかの基本的な仮定を行った。
これらの仮定を満たすDNNは一般的なDNNと呼ばれる。
分析グラフの構築は,dagをボトムアップから,規制規則に従って基本要素への原子操作の適用によって構築する公理的手法に基づく。
このアプローチにより、数学的帰納法により一般DNNの特性を導出することができる。
提案手法を用いることで、一般的なDNNに対して真である性質を導出できることを示す。
この分析はネットワーク機能の理解を深め、グラフの分析ツールのホストを活用できれば、さらなる理論的洞察を促進することができる。
関連論文リスト
- A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。
我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
論文 参考訳（メタデータ） (2024-06-07T19:25:02Z) - E(n) Equivariant Topological Neural Networks [10.603892843083173]
グラフニューラルネットワークはペアインタラクションのモデリングに優れていますが、高階インタラクションや機能に柔軟に対応できません。
トポロジカルディープラーニング(TDL)がこの問題に対処するための有望なツールとして最近登場した。
本稿では,E(n)-同変トポロジカルニューラルネットワーク(ETNN)を紹介する。
ETNNは回転、反射、翻訳を尊重しながら幾何学的ノードの特徴を取り入れている。
論文 参考訳（メタデータ） (2024-05-24T10:55:38Z) - Factorized Explainer for Graph Neural Networks [7.382632811417645]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習する能力によって、注目を集めている。
GNN予測を理解するために、ポストホックなインスタンスレベルの説明法が提案されている。
理論的性能保証を伴う新しい因子化説明モデルを提案する。
論文 参考訳（メタデータ） (2023-12-09T15:29:45Z) - Neural Tangent Kernels Motivate Graph Neural Networks with
Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。
その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。
これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文 参考訳（メタデータ） (2023-10-16T19:54:21Z) - Representation and decomposition of functions in DAG-DNNs and structural
network pruning [3.04585143845864]
ディープニューラルネットワーク(DNN)の様々なサブアーキテクチャ上で定義された関数の導出にDAG-DNNを用いることができることを示す。
低三角形行列に付随する昇降構造により、ネットワークの構造的プルーニングを系統的に行うことができる。
論文 参考訳（メタデータ） (2023-06-16T09:18:36Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - Towards Better Generalization with Flexible Representation of
Multi-Module Graph Neural Networks [0.27195102129094995]
ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。
本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。
集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-14T12:13:59Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Edge-Level Explanations for Graph Neural Networks by Extending
Explainability Methods for Convolutional Neural Networks [33.20913249848369]
グラフニューラルネットワーク(GNN)は、グラフデータを入力として扱うディープラーニングモデルであり、トラフィック予測や分子特性予測といった様々なタスクに適用される。
本稿では,CNNに対する説明可能性の手法として,LIME(Local Interpretable Model-Agnostic Explanations)やGradient-Based Saliency Maps,Gradient-Weighted Class Activation Mapping(Grad-CAM)をGNNに拡張する。
実験結果から,LIMEに基づくアプローチは実環境における複数のタスクに対する最も効率的な説明可能性手法であり,その状態においても優れていたことが示唆された。
論文 参考訳（メタデータ） (2021-11-01T06:27:29Z) - Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。
畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文 参考訳（メタデータ） (2020-10-22T09:10:16Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-08T02:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。