論文の概要: Representation and decomposition of functions in DAG-DNNs and structural
network pruning
- arxiv url: http://arxiv.org/abs/2306.09707v1
- Date: Fri, 16 Jun 2023 09:18:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 14:30:58.064424
- Title: Representation and decomposition of functions in DAG-DNNs and structural
network pruning
- Title（参考訳）: DAG-DNNにおける関数の表現と分解とネットワーク切断
- Authors: Wen-Liang Hwang
- Abstract要約: ディープニューラルネットワーク(DNN)の様々なサブアーキテクチャ上で定義された関数の導出にDAG-DNNを用いることができることを示す。
低三角形行列に付随する昇降構造により、ネットワークの構造的プルーニングを系統的に行うことができる。
- 参考スコア（独自算出の注目度）: 3.04585143845864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The conclusions provided by deep neural networks (DNNs) must be carefully
scrutinized to determine whether they are universal or architecture dependent.
The term DAG-DNN refers to a graphical representation of a DNN in which the
architecture is expressed as a direct-acyclic graph (DAG), on which arcs are
associated with functions. The level of a node denotes the maximum number of
hops between the input node and the node of interest. In the current study, we
demonstrate that DAG-DNNs can be used to derive all functions defined on
various sub-architectures of the DNN. We also demonstrate that the functions
defined in a DAG-DNN can be derived via a sequence of lower-triangular
matrices, each of which provides the transition of functions defined in
sub-graphs up to nodes at a specified level. The lifting structure associated
with lower-triangular matrices makes it possible to perform the structural
pruning of a network in a systematic manner. The fact that decomposition is
universally applicable to all DNNs means that network pruning could
theoretically be applied to any DNN, regardless of the underlying architecture.
We demonstrate that it is possible to obtain the winning ticket (sub-network
and initialization) for a weak version of the lottery ticket hypothesis, based
on the fact that the sub-network with initialization can achieve training
performance on par with that of the original network using the same number of
iterations or fewer.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)が提供する結論は、それらが普遍的であるかアーキテクチャに依存しているかを決定するために慎重に精査されなければならない。
DAG-DNNという用語は、DNNのグラフィカルな表現で、アーキテクチャは直接巡回グラフ(DAG)として表現され、アークは関数と関連付けられている。
ノードのレベルは、入力ノードと関心のノードの間のホップの最大数を表す。
本研究は,DAG-DNNを用いて,DNNの様々なサブアーキテクチャ上で定義されたすべての関数を導出できることを実証する。
また,DAG-DNNで定義される関数は,下位三角形行列の列によって導出可能であることを示す。
低三角形行列に付随する昇降構造により、ネットワークの構造的プルーニングを系統的に行うことができる。
分解がすべてのDNNに普遍的に適用されるという事実は、基盤となるアーキテクチャに関係なく、理論上は任意のDNNに適用できることを意味する。
初期化に伴うサブネットワークが、同じ回数の繰り返しを用いて元のネットワークと同等のトレーニング性能を達成できるという事実から、抽選券仮説の弱いバージョンに対する当選券(サブネットワークと初期化)を得ることが可能であることを実証する。
関連論文リスト
- Bundle Neural Networks for message diffusion on graphs [10.018379001231356]
結合ニューラルネットワーク(BuNN)は,任意のグラフ上の任意の特徴変換をインジェクティブな位置符号化で近似できることを示す。
また、BuNNが任意のグラフの族上の任意の特徴変換を近似して、任意の射影的位置エンコーディングを行えば、普遍的なノードレベルの表現性が得られることを証明した。
論文 参考訳（メタデータ） (2024-05-24T13:28:48Z) - Improving Expressivity of GNNs with Subgraph-specific Factor Embedded
Normalization [30.86182962089487]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを扱うための学習アーキテクチャの強力なカテゴリとして登場した。
我々は SUbgraph-sPEcific FactoR Embedded Normalization (SuperNorm) と呼ばれる専用プラグアンドプレイ正規化方式を提案する。
論文 参考訳（メタデータ） (2023-05-31T14:37:31Z) - Towards Better Generalization with Flexible Representation of
Multi-Module Graph Neural Networks [0.27195102129094995]
ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。
本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。
集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-14T12:13:59Z) - Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。
本研究では,これらの分類におけるGNNの習熟度について検討する。
以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
論文 参考訳（メタデータ） (2022-06-13T05:15:12Z) - Non-Recursive Graph Convolutional Networks [33.459371861932574]
非再帰グラフ畳み込みネットワーク(NRGCN)と呼ばれる新しいアーキテクチャを提案し、GCNのトレーニング効率と学習パフォーマンスの両方を改善します。
NRGCNは、内部層凝集と層非依存サンプリングに基づいて、各ノードの隣人のホップを表す。
このようにして、各ノードは、隣人の各ホップから独立して抽出された情報を連結することで直接表現することができる。
論文 参考訳（メタデータ） (2021-05-09T08:12:18Z) - Identity-aware Graph Neural Networks [63.6952975763946]
グラフニューラルネットワーク(ID-GNN)を1-WLテストよりも表現力の高いメッセージクラスを開発しています。
ID-GNNは、メッセージパッシング中にノードのIDを誘導的に考慮することにより、既存のGNNアーキテクチャを拡張します。
既存のGNNをID-GNNに変換すると、挑戦ノード、エッジ、グラフプロパティ予測タスクの平均40%の精度が向上することを示す。
論文 参考訳（メタデータ） (2021-01-25T18:59:01Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳（メタデータ） (2020-10-05T04:57:18Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。
これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
論文 参考訳（メタデータ） (2020-08-04T18:57:36Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-08T02:47:38Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。