論文の概要: Adaptive Message Passing: A General Framework to Mitigate Oversmoothing, Oversquashing, and Underreaching
- arxiv url: http://arxiv.org/abs/2312.16560v2
- Date: Wed, 20 Mar 2024 10:10:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 21:58:15.389366
- Title: Adaptive Message Passing: A General Framework to Mitigate Oversmoothing, Oversquashing, and Underreaching
- Title（参考訳）: Adaptive Message Passing: オーバースムーシング、オーバースキャッシング、アンダーレッシングを緩和するための一般的なフレームワーク
- Authors: Federico Errica, Henrik Christiansen, Viktor Zaverkin, Takashi Maruyama, Mathias Niepert, Francesco Alesiani,
- Abstract要約: 長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。
ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限のため、実際には長距離依存をモデル化できません。
この研究は、これらの制限を緩和する一般的なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 23.487431014596556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-range interactions are essential for the correct description of complex systems in many scientific fields. The price to pay for including them in the calculations, however, is a dramatic increase in the overall computational costs. Recently, deep graph networks have been employed as efficient, data-driven surrogate models for predicting properties of complex systems represented as graphs. These models rely on a local and iterative message passing strategy that should, in principle, capture long-range information without explicitly modeling the corresponding interactions. In practice, most deep graph networks cannot really model long-range dependencies due to the intrinsic limitations of (synchronous) message passing, namely oversmoothing, oversquashing, and underreaching. This work proposes a general framework that learns to mitigate these limitations: within a variational inference framework, we endow message passing architectures with the ability to freely adapt their depth and filter messages along the way. With theoretical and empirical arguments, we show that this simple strategy better captures long-range interactions, by surpassing the state of the art on five node and graph prediction datasets suited for this problem. Our approach consistently improves the performances of the baselines tested on these tasks. We complement the exposition with qualitative analyses and ablations to get a deeper understanding of the framework's inner workings.
- Abstract（参考訳）: 長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。
しかし、計算にそれらを含める費用は、全体的な計算コストの劇的な増加である。
近年、ディープグラフネットワークは、グラフとして表される複雑なシステムの特性を予測するための効率的なデータ駆動サロゲートモデルとして採用されている。
これらのモデルは、局所的かつ反復的なメッセージパッシング戦略に依存しており、原則として、対応するインタラクションを明示的にモデル化することなく、長距離情報をキャプチャすべきである。
実際には、ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限、すなわちオーバースムーシング、オーバースキャッシング、アンダーレッシングのために、実際には長距離依存をモデル化することはできない。
この研究は、これらの制限を緩和するために学習する一般的なフレームワークを提案する: 変分推論フレームワークでは、メッセージパッシングアーキテクチャに、その深さを自由に適応させ、その途中でメッセージをフィルタリングする能力を与えます。
理論的および実証的な議論から、この単純な戦略は、この問題に適した5つのノードおよびグラフ予測データセットの最先端を超越することで、長距離相互作用をよりよく捉えていることが示される。
我々のアプローチは、これらのタスクでテストされたベースラインのパフォーマンスを一貫して改善します。
我々は、フレームワークの内部動作をより深く理解するために、定性的な分析とアブレーションで展示を補完する。
関連論文リスト
- RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
本稿では,リレーショナルデータベースの特徴を捉えた新しいGNNフレームワークであるRelGNNを紹介する。
我々のアプローチの核となるのは、高次三部構造を形成するノードの列である原子経路の導入である。
RelGNNは、最先端の精度を最大25%改善して一貫して達成している。
論文 参考訳（メタデータ） (2025-02-10T18:58:40Z) - Contextual Reinforcement in Multimodal Token Compression for Large Language Models [0.0]
トークン圧縮は、ますます複雑で多様なデータセットを扱うためにモデルをスケーリングする上で、依然として重要な課題である。
相互依存や意味的関連性を通じてトークンの重要度を動的に調整する,コンテキスト強化に基づく新しいメカニズムを導入する。
このアプローチは,情報表現の品質と一貫性を維持しつつ,トークン使用量の大幅な削減を可能にする。
論文 参考訳（メタデータ） (2025-01-28T02:44:31Z) - DeltaGNN: Graph Neural Network with Information Flow Control [5.563171090433323]
グラフニューラルネットワーク(GNN)は、メッセージパッシングプロセスの近傍集約を通じてグラフ構造化データを処理するように設計されている。
メッセージパッシングにより、GNNは短距離空間的相互作用を理解できるだけでなく、過度なスムーシングや過度なスカッシングに悩まされる。
本稿では,線形計算オーバーヘッドを伴うオーバー・スムーシングとオーバー・スキャッシングに対処するための,emph情報フロー制御機構を提案する。
さまざまなサイズ、トポロジ、密度、ホモフィリック比のグラフを含む10の実世界のデータセットを対象に、我々のモデルをベンチマークし、優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2025-01-10T14:34:20Z) - Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。
このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。
また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
論文 参考訳（メタデータ） (2025-01-01T08:48:53Z) - Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。
従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。
VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
論文 参考訳（メタデータ） (2024-10-02T12:07:47Z) - Towards Graph Prompt Learning: A Survey and Beyond [38.55555996765227]
大規模"事前訓練と迅速な学習"パラダイムは、顕著な適応性を示している。
この調査は、この分野における100以上の関連する研究を分類し、一般的な設計原則と最新の応用を要約する。
論文 参考訳（メタデータ） (2024-08-26T06:36:42Z) - TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳（メタデータ） (2024-01-06T06:26:49Z) - Multi-Scene Generalized Trajectory Global Graph Solver with Composite
Nodes for Multiple Object Tracking [61.69892497726235]
複合ノードメッセージパッシングネットワーク(CoNo-Link)は、超長いフレーム情報を関連付けるためのフレームワークである。
オブジェクトをノードとして扱う従来の方法に加えて、このネットワークは情報インタラクションのためのノードとしてオブジェクトトラジェクトリを革新的に扱う。
我々のモデルは、合成ノードを追加することで、より長い時間スケールでより良い予測を学習することができる。
論文 参考訳（メタデータ） (2023-12-14T14:00:30Z) - Taming Local Effects in Graph-based Spatiotemporal Forecasting [28.30604130617646]
時相グラフニューラルネットワークは時系列予測に有効であることが示されている。
本稿では,グラフに基づく時間的予測におけるグローバル性と局所性の間の相互作用を理解することを目的とする。
このようなアーキテクチャにトレーニング可能なノード埋め込みを組み込むことを合理化するための方法論的枠組みを提案する。
論文 参考訳（メタデータ） (2023-02-08T14:18:56Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。