論文の概要: Adaptive Message Passing: A General Framework to Mitigate Oversmoothing,
Oversquashing, and Underreaching
- arxiv url: http://arxiv.org/abs/2312.16560v1
- Date: Wed, 27 Dec 2023 12:49:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 18:49:28.753105
- Title: Adaptive Message Passing: A General Framework to Mitigate Oversmoothing,
Oversquashing, and Underreaching
- Title（参考訳）: Adaptive Message Passing: オーバースムーシング、オーバースキャッシング、アンダーレッシングを緩和するための一般的なフレームワーク
- Authors: Federico Errica, Henrik Christiansen, Viktor Zaverkin, Takashi
Maruyama, Mathias Niepert, Francesco Alesiani
- Abstract要約: 長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。
ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限のため、実際には長距離依存をモデル化できません。
この研究は、これらの制限を緩和する一般的なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 24.887653505233036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-range interactions are essential for the correct description of complex
systems in many scientific fields. The price to pay for including them in the
calculations, however, is a dramatic increase in the overall computational
costs. Recently, deep graph networks have been employed as efficient,
data-driven surrogate models for predicting properties of complex systems
represented as graphs. These models rely on a local and iterative message
passing strategy that should, in principle, capture long-range information
without explicitly modeling the corresponding interactions. In practice, most
deep graph networks cannot really model long-range dependencies due to the
intrinsic limitations of (synchronous) message passing, namely oversmoothing,
oversquashing, and underreaching. This work proposes a general framework that
learns to mitigate these limitations: within a variational inference framework,
we endow message passing architectures with the ability to freely adapt their
depth and filter messages along the way. With theoretical and empirical
arguments, we show that this simple strategy better captures long-range
interactions, by surpassing the state of the art on five node and graph
prediction datasets suited for this problem. Our approach consistently improves
the performances of the baselines tested on these tasks. We complement the
exposition with qualitative analyses and ablations to get a deeper
understanding of the framework's inner workings.
- Abstract（参考訳）: 長距離相互作用は多くの科学分野における複雑なシステムの正しい記述に不可欠である。
しかし、計算にそれらを含める費用は、全体的な計算コストの劇的な増加である。
近年、ディープグラフネットワークはグラフとして表される複雑なシステムの特性を予測するための効率的なデータ駆動サロゲートモデルとして採用されている。
これらのモデルは、局所的かつ反復的なメッセージパッシング戦略に依存しており、原則として、対応するインタラクションを明示的にモデル化することなく、長距離情報をキャプチャすべきである。
実際には、ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限、すなわちオーバースムーシング、オーバースキャッシング、アンダーレッシングのために、実際には長距離依存をモデル化することはできない。
この研究は、これらの制限を緩和する一般的なフレームワークを提案する: 変分推論フレームワークでは、メッセージパッシングアーキテクチャに、その深さを自由に適応させ、その途中でメッセージをフィルタリングする能力を与えます。
理論的および経験的議論により、この単純な戦略が5つのノードとグラフ予測データセットの最先端を上回ることで、長距離インタラクションをよりうまく捉えていることを示す。
我々のアプローチは、これらのタスクでテストされたベースラインのパフォーマンスを一貫して改善します。
我々は, フレームワークの内部動作をより深く理解するために, 質的分析とアブレーションを用いて展示を補完する。
関連論文リスト
- Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。
従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。
VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
論文 参考訳（メタデータ） (2024-10-02T12:07:47Z) - Towards Graph Prompt Learning: A Survey and Beyond [38.55555996765227]
大規模"事前訓練と迅速な学習"パラダイムは、顕著な適応性を示している。
この調査は、この分野における100以上の関連する研究を分類し、一般的な設計原則と最新の応用を要約する。
論文 参考訳（メタデータ） (2024-08-26T06:36:42Z) - TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳（メタデータ） (2024-01-06T06:26:49Z) - Multi-Scene Generalized Trajectory Global Graph Solver with Composite
Nodes for Multiple Object Tracking [61.69892497726235]
複合ノードメッセージパッシングネットワーク(CoNo-Link)は、超長いフレーム情報を関連付けるためのフレームワークである。
オブジェクトをノードとして扱う従来の方法に加えて、このネットワークは情報インタラクションのためのノードとしてオブジェクトトラジェクトリを革新的に扱う。
我々のモデルは、合成ノードを追加することで、より長い時間スケールでより良い予測を学習することができる。
論文 参考訳（メタデータ） (2023-12-14T14:00:30Z) - Taming Local Effects in Graph-based Spatiotemporal Forecasting [28.30604130617646]
時相グラフニューラルネットワークは時系列予測に有効であることが示されている。
本稿では,グラフに基づく時間的予測におけるグローバル性と局所性の間の相互作用を理解することを目的とする。
このようなアーキテクチャにトレーニング可能なノード埋め込みを組み込むことを合理化するための方法論的枠組みを提案する。
論文 参考訳（メタデータ） (2023-02-08T14:18:56Z) - TIDE: Time Derivative Diffusion for Deep Learning on Graphs [31.01454180524729]
グラフニューラルネットワークの顕著なパラダイムは、メッセージパッシングフレームワークに基づいている。
本フレームワークでは,近隣ノード間のみの情報通信を実現する。
本稿では,時間微分グラフ拡散(TIDE)に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2022-12-05T18:42:55Z) - MultiScale MeshGraphNets [65.26373813797409]
我々はMeshGraphNetsからフレームワークを改善するための2つの補完的なアプローチを提案する。
まず、より粗いメッシュ上で高解像度システムの正確なサロゲートダイナミクスを学習できることを実証する。
次に、2つの異なる解像度でメッセージを渡す階層的アプローチ(MultiScale MeshGraphNets)を導入する。
論文 参考訳（メタデータ） (2022-10-02T20:16:20Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - Learning Long-term Visual Dynamics with Region Proposal Interaction
Networks [75.06423516419862]
オブジェクト間およびオブジェクト環境間の相互作用を長距離にわたってキャプチャするオブジェクト表現を構築します。
単純だが効果的なオブジェクト表現のおかげで、我々の手法は先行手法よりも大幅に優れている。
論文 参考訳（メタデータ） (2020-08-05T17:48:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。