Fugu-MT 論文翻訳(概要): Early-Exit Graph Neural Networks

論文の概要: Early-Exit Graph Neural Networks

arxiv url: http://arxiv.org/abs/2505.18088v1
Date: Fri, 23 May 2025 16:45:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-26 18:08:34.231174
Title: Early-Exit Graph Neural Networks
Title（参考訳）: アーリーエグジットグラフニューラルネットワーク
Authors: Andrea Giuseppe Di Francesco, Maria Sofia Bucarelli, Franco Maria Nardini, Raffaele Perego, Nicola Tonellotto, Fabrizio Silvestri,
Abstract要約: 本稿では,各ノードやグラフ全体に基づいた伝播のオンザフライ終了を可能にする,信頼度に配慮したエグジットヘッドを付加したEarly-Exit Graph Neural Networks(EEGNNs)を提案する。 EEGNNは、深さが大きくなるにつれて堅牢なパフォーマンスを維持し、異種および長距離のベンチマークで競合する精度を提供する。
参考スコア（独自算出の注目度）: 18.835674898033172
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Early-exit mechanisms allow deep neural networks to halt inference as soon as classification confidence is high enough, adaptively trading depth for confidence, and thereby cutting latency and energy on easy inputs while retaining full-depth accuracy for harder ones. Similarly, adding early exit mechanisms to Graph Neural Networks (GNNs), the go-to models for graph-structured data, allows for dynamic trading depth for confidence on simple graphs while maintaining full-depth accuracy on harder and more complex graphs to capture intricate relationships. Although early exits have proven effective across various deep learning domains, their potential within GNNs in scenarios that require deep architectures while resisting over-smoothing and over-squashing remains largely unexplored. We unlock that potential by first introducing Symmetric-Anti-Symmetric Graph Neural Networks (SAS-GNN), whose symmetry-based inductive biases mitigate these issues and yield stable intermediate representations that can be useful to allow early exiting in GNNs. Building on this backbone, we present Early-Exit Graph Neural Networks (EEGNNs), which append confidence-aware exit heads that allow on-the-fly termination of propagation based on each node or the entire graph. Experiments show that EEGNNs preserve robust performance as depth grows and deliver competitive accuracy on heterophilic and long-range benchmarks, matching attention-based and asynchronous message-passing models while substantially reducing computation and latency. We plan to release the code to reproduce our experiments.
Abstract（参考訳）: 早期退避機構により、分類信頼度が十分に高いと、ニューラルネットワークが推論を停止し、信頼性のための深さを適応的にトレーディングし、より簡単な入力でレイテンシとエネルギーを削減し、より難しい入力に対して完全な精度を維持することができる。同様に、グラフ構造化データのgo-toモデルであるグラフニューラルネットワーク(GNN)に早期終了メカニズムを追加することで、単純なグラフに対する信頼のための動的トレーディング深度を、複雑で複雑なグラフの完全な精度を維持しながら、複雑な関係を捉えることができる。初期のエグジットは、さまざまなディープラーニングドメインで有効であることが証明されているが、過度なスムースと過剰なスキャッシングに抵抗しながら、深いアーキテクチャを必要とするシナリオにおいて、GNN内でのそれらのポテンシャルは、大半は未解明のままである。対称性に基づく帰納バイアスがこれらの問題を緩和し、GNNの早期退避を可能にするのに役立つ安定した中間表現を与えるSymmetric-Anti-Symmetric Graph Neural Networks (SAS-GNN)を導入することで、その可能性を解き放つ。このバックボーン上に構築されたEarly-Exit Graph Neural Networks (EEGNNs) は,各ノードやグラフ全体に基づいた伝播のオンザフライ終了を可能にする,信頼を意識したエグジットヘッドを付加する。実験により、EEGNNは、深さが大きくなるにつれて堅牢なパフォーマンスを維持し、異種および長距離のベンチマークで競合する精度を提供し、注意ベースの非同期メッセージパスモデルと一致し、計算とレイテンシを大幅に削減することが示された。実験を再現するコードをリリースする予定です。

関連論文リスト

Statistical physics analysis of graph neural networks: Approaching optimality in the contextual stochastic block model [0.0]
グラフニューラルネットワーク(GNN)は、グラフに関連するデータを処理するように設計されている。 GNNは、繰り返し集約ステップによって遠く離れたノードから情報を集めるのに苦労する可能性がある。我々は,GCNのアーキテクチャが過度なスムーシングを避けるために,深さとともにスケールしなければならないことを示す。
論文参考訳（メタデータ） (2025-03-03T09:55:10Z)
DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文参考訳（メタデータ） (2024-06-04T07:24:51Z)
Unleash Graph Neural Networks from Heavy Tuning [33.948899558876604]
グラフニューラルネットワーク(GNN)は、グラフ型データ用に設計されたディープラーニングアーキテクチャである。本稿では,光チューニングされた粗い探索中に保存されたチェックポイントから学習することで,高性能なGNNを直接生成するグラフ条件付き潜時拡散フレームワーク(GNN-Diff)を提案する。
論文参考訳（メタデータ） (2024-05-21T06:23:47Z)
Anomal-E: A Self-Supervised Network Intrusion Detection System based on Graph Neural Networks [0.0]
本稿では,自己教師型ネットワーク侵入と異常検出のためのグラフニューラルネットワーク(GNN)の応用について検討する。 GNNは、グラフ構造を学習に組み込んだグラフベースのデータのためのディープラーニングアプローチである。本稿では, エッジ特徴とグラフトポロジ構造を利用したGNNによる侵入・異常検出手法であるAnomal-Eを提案する。
論文参考訳（メタデータ） (2022-07-14T10:59:39Z)
Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
論文参考訳（メタデータ） (2022-07-06T10:01:46Z)
Graph-Time Convolutional Neural Networks: Architecture and Theoretical Analysis [12.995632804090198]
グラフ時間畳み込みニューラルネットワーク(GTCNN)を学習支援の原則アーキテクチャとして導入する。このアプローチはどんな種類のプロダクトグラフでも機能し、パラメトリックグラフを導入して、プロダクトの時間的結合も学べます。 GTCNNが最先端のソリューションと好意的に比較できることを示す。
論文参考訳（メタデータ） (2022-06-30T10:20:52Z)
Graph Neural Networks in Particle Physics: Implementations, Innovations, and Challenges [7.071890461446324]
現在HEPコミュニティで十分に評価されている機能やまだ未成熟な機能について紹介する。業界におけるGNNの普及により、HEPコミュニティは、GNNレイテンシとメモリ使用量の急速な改善の恩恵を受けることができる。我々は、機械学習におけるグラフ技術の展望を捉え、また、研究の大きな飛躍を阻害している最も重要なギャップを指摘したいと考えています。
論文参考訳（メタデータ） (2022-03-23T04:36:04Z)
EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文参考訳（メタデータ） (2022-02-22T08:16:58Z)
Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
論文参考訳（メタデータ） (2021-08-24T05:00:37Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。