論文の概要: Adaptive Message Passing: A General Framework to Mitigate Oversmoothing, Oversquashing, and Underreaching

• arxiv url: http://arxiv.org/abs/2312.16560v2
• Date: Wed, 20 Mar 2024 10:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-21 21:58:15.389366
• Title: Adaptive Message Passing: A General Framework to Mitigate Oversmoothing, Oversquashing, and Underreaching
• Title（参考訳）: Adaptive Message Passing: オーバースムーシング、オーバースキャッシング、アンダーレッシングを緩和するための一般的なフレームワーク
• Authors: Federico Errica, Henrik Christiansen, Viktor Zaverkin, Takashi Maruyama, Mathias Niepert, Francesco Alesiani,
• Abstract要約: 長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。 ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限のため、実際には長距離依存をモデル化できません。 この研究は、これらの制限を緩和する一般的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.487431014596556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-range interactions are essential for the correct description of complex systems in many scientific fields. The price to pay for including them in the calculations, however, is a dramatic increase in the overall computational costs. Recently, deep graph networks have been employed as efficient, data-driven surrogate models for predicting properties of complex systems represented as graphs. These models rely on a local and iterative message passing strategy that should, in principle, capture long-range information without explicitly modeling the corresponding interactions. In practice, most deep graph networks cannot really model long-range dependencies due to the intrinsic limitations of (synchronous) message passing, namely oversmoothing, oversquashing, and underreaching. This work proposes a general framework that learns to mitigate these limitations: within a variational inference framework, we endow message passing architectures with the ability to freely adapt their depth and filter messages along the way. With theoretical and empirical arguments, we show that this simple strategy better captures long-range interactions, by surpassing the state of the art on five node and graph prediction datasets suited for this problem. Our approach consistently improves the performances of the baselines tested on these tasks. We complement the exposition with qualitative analyses and ablations to get a deeper understanding of the framework's inner workings.
• Abstract（参考訳）: 長距離相互作用は、多くの科学分野における複雑なシステムの正しい記述に不可欠である。 しかし、計算にそれらを含める費用は、全体的な計算コストの劇的な増加である。 近年、ディープグラフネットワークは、グラフとして表される複雑なシステムの特性を予測するための効率的なデータ駆動サロゲートモデルとして採用されている。 これらのモデルは、局所的かつ反復的なメッセージパッシング戦略に依存しており、原則として、対応するインタラクションを明示的にモデル化することなく、長距離情報をキャプチャすべきである。 実際には、ほとんどのディープグラフネットワークは、(同期)メッセージパッシングの固有の制限、すなわちオーバースムーシング、オーバースキャッシング、アンダーレッシングのために、実際には長距離依存をモデル化することはできない。 この研究は、これらの制限を緩和するために学習する一般的なフレームワークを提案する: 変分推論フレームワークでは、メッセージパッシングアーキテクチャに、その深さを自由に適応させ、その途中でメッセージをフィルタリングする能力を与えます。 理論的および実証的な議論から、この単純な戦略は、この問題に適した5つのノードおよびグラフ予測データセットの最先端を超越することで、長距離相互作用をよりよく捉えていることが示される。 我々のアプローチは、これらのタスクでテストされたベースラインのパフォーマンスを一貫して改善します。 我々は、フレームワークの内部動作をより深く理解するために、定性的な分析とアブレーションで展示を補完する。

関連論文リスト

• Cross-Modal State-Space Graph Reasoning for Structured Summarization [1.7766350477173578]
  クロスモーダル要約は、ビデオ分析から医療報告まで、多くのアプリケーションにとって重要である。 グラフベースのメッセージパッシングを備えた状態空間モデルを組み込んだtextitCross-Modal State-Space Graph Reasoning (textbfCSS-GR) フレームワークを提案する。 提案手法は,標準的なマルチモーダル要約ベンチマークにおいて,計算効率を維持しながら,要約品質と解釈性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-03-26T21:06:56Z)
• GraphSparseNet: a Novel Method for Large Scale Trafffic Flow Prediction [4.857364765818477]
  ディープラーニング、特にグラフNNによる最近の進歩は、複雑なダイナミクスによってこれらの予測の精度を大幅に向上させた。 しかし、GraphSparseNetはモデル複雑さが指数関数的に増大しているため、依然として課題である。 本稿では,GNNトラフィックベース予測モデルの精度とスケーラビリティを両立させる新しいフレームワークであるGraphSparseNetを紹介する。
  論文  参考訳（メタデータ） (2025-02-27T06:51:20Z)
• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  本稿では,リレーショナルデータベースの特徴を捉えた新しいGNNフレームワークであるRelGNNを紹介する。 我々のアプローチの核となるのは、高次三部構造を形成するノードの列である原子経路の導入である。 RelGNNは、最先端の精度を最大25%改善して一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• Contextual Reinforcement in Multimodal Token Compression for Large Language Models [0.0]
  トークン圧縮は、ますます複雑で多様なデータセットを扱うためにモデルをスケーリングする上で、依然として重要な課題である。 相互依存や意味的関連性を通じてトークンの重要度を動的に調整する,コンテキスト強化に基づく新しいメカニズムを導入する。 このアプローチは,情報表現の品質と一貫性を維持しつつ,トークン使用量の大幅な削減を可能にする。
  論文  参考訳（メタデータ） (2025-01-28T02:44:31Z)
• DeltaGNN: Graph Neural Network with Information Flow Control [5.563171090433323]
  グラフニューラルネットワーク(GNN)は、メッセージパッシングプロセスの近傍集約を通じてグラフ構造化データを処理するように設計されている。 メッセージパッシングにより、GNNは短距離空間的相互作用を理解できるだけでなく、過度なスムーシングや過度なスカッシングに悩まされる。 本稿では,線形計算オーバーヘッドを伴うオーバー・スムーシングとオーバー・スキャッシングに対処するための,emph情報フロー制御機構を提案する。 さまざまなサイズ、トポロジ、密度、ホモフィリック比のグラフを含む10の実世界のデータセットを対象に、我々のモデルをベンチマークし、優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-01-10T14:34:20Z)
• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process [8.820909397907274]
  完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。 従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。 VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
  論文  参考訳（メタデータ） (2024-10-02T12:07:47Z)
• Towards Graph Prompt Learning: A Survey and Beyond [38.55555996765227]
  大規模"事前訓練と迅速な学習"パラダイムは、顕著な適応性を示している。 この調査は、この分野における100以上の関連する研究を分類し、一般的な設計原則と最新の応用を要約する。
  論文  参考訳（メタデータ） (2024-08-26T06:36:42Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• Multi-Scene Generalized Trajectory Global Graph Solver with Composite Nodes for Multiple Object Tracking [61.69892497726235]
  複合ノードメッセージパッシングネットワーク(CoNo-Link)は、超長いフレーム情報を関連付けるためのフレームワークである。 オブジェクトをノードとして扱う従来の方法に加えて、このネットワークは情報インタラクションのためのノードとしてオブジェクトトラジェクトリを革新的に扱う。 我々のモデルは、合成ノードを追加することで、より長い時間スケールでより良い予測を学習することができる。
  論文  参考訳（メタデータ） (2023-12-14T14:00:30Z)
• Taming Local Effects in Graph-based Spatiotemporal Forecasting [28.30604130617646]
  時相グラフニューラルネットワークは時系列予測に有効であることが示されている。 本稿では,グラフに基づく時間的予測におけるグローバル性と局所性の間の相互作用を理解することを目的とする。 このようなアーキテクチャにトレーニング可能なノード埋め込みを組み込むことを合理化するための方法論的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-02-08T14:18:56Z)
• TIDE: Time Derivative Diffusion for Deep Learning on Graphs [31.01454180524729]
  グラフニューラルネットワークの顕著なパラダイムは、メッセージパッシングフレームワークに基づいている。 本フレームワークでは,近隣ノード間のみの情報通信を実現する。 本稿では,時間微分グラフ拡散(TIDE)に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T18:42:55Z)
• MultiScale MeshGraphNets [65.26373813797409]
  我々はMeshGraphNetsからフレームワークを改善するための2つの補完的なアプローチを提案する。 まず、より粗いメッシュ上で高解像度システムの正確なサロゲートダイナミクスを学習できることを実証する。 次に、2つの異なる解像度でメッセージを渡す階層的アプローチ(MultiScale MeshGraphNets)を導入する。
  論文  参考訳（メタデータ） (2022-10-02T20:16:20Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Learning Long-term Visual Dynamics with Region Proposal Interaction Networks [75.06423516419862]
  オブジェクト間およびオブジェクト環境間の相互作用を長距離にわたってキャプチャするオブジェクト表現を構築します。 単純だが効果的なオブジェクト表現のおかげで、我々の手法は先行手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-08-05T17:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。