論文の概要: gLSTM: Mitigating Over-Squashing by Increasing Storage Capacity
- arxiv url: http://arxiv.org/abs/2510.08450v1
- Date: Thu, 09 Oct 2025 16:58:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:15.219727
- Title: gLSTM: Mitigating Over-Squashing by Increasing Storage Capacity
- Title（参考訳）: gLSTM: ストレージ容量の増加によるオーバースカッシングの緩和
- Authors: Hugh Blayney, Álvaro Arroyo, Xiaowen Dong, Michael M. Bronstein,
- Abstract要約: 我々は,モデル記憶と検索能力のレンズを通して,過洗現象を再検討する。
我々は、情報ボトルネックがこの容量を飽和させることができることを示すために、新しい合成タスクを導入する。
キャパシティを向上した新しいGNNアーキテクチャを開発した。
- 参考スコア（独自算出の注目度）: 32.149547459478846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) leverage the graph structure to transmit information between nodes, typically through the message-passing mechanism. While these models have found a wide variety of applications, they are known to suffer from over-squashing, where information from a large receptive field of node representations is collapsed into a single fixed sized vector, resulting in an information bottleneck. In this paper, we re-examine the over-squashing phenomenon through the lens of model storage and retrieval capacity, which we define as the amount of information that can be stored in a node's representation for later use. We study some of the limitations of existing tasks used to measure over-squashing and introduce a new synthetic task to demonstrate that an information bottleneck can saturate this capacity. Furthermore, we adapt ideas from the sequence modeling literature on associative memories, fast weight programmers, and the xLSTM model to develop a novel GNN architecture with improved capacity. We demonstrate strong performance of this architecture both on our capacity synthetic task, as well as a range of real-world graph benchmarks.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフ構造を利用してノード間で情報を伝達する。
これらのモデルでは様々な応用が発見されているが、ノード表現の大きな受容領域からの情報が単一の固定サイズのベクトルに分解され、情報のボトルネックが発生するというオーバー・スクワッシングに悩まされていることが知られている。
本稿では,モデル記憶と検索能力のレンズによるオーバー・スクワッシング現象を再検討し,ノードの表現に格納できる情報の量として定義する。
本稿では,過度な監視に使用される既存のタスクの制限について検討し,情報ボトルネックがこの容量を飽和させることを示すために,新しい合成タスクを導入する。
さらに,アソシエイトメモリ,高速重み付けプログラマ,xLSTMモデルに基づくシーケンスモデリング文献からアイデアを取り入れて,キャパシティを向上した新しいGNNアーキテクチャを開発する。
我々は、このアーキテクチャの強力な性能を、我々の能力合成タスクと、現実世界のグラフベンチマークの両方で実証する。
関連論文リスト
- Efficient Environmental Claim Detection with Hyperbolic Graph Neural Networks [1.7259898169307608]
我々は、トランスフォーマーベースモデルの軽量かつ効果的な代替手段として、グラフニューラルネットワーク(GNN)とハイパーボリックグラフニューラルネットワーク(HGNN)について検討する。
以上の結果から,我々のグラフベースモデル,特にポインカー空間(P-HGNN)におけるHGNNは,環境クレーム検出の最先端技術よりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-02-19T11:04:59Z) - DeltaGNN: Graph Neural Network with Information Flow Control [5.563171090433323]
グラフニューラルネットワーク(GNN)は、メッセージパッシングプロセスの近傍集約を通じてグラフ構造化データを処理するように設計されている。
メッセージパッシングにより、GNNは短距離空間的相互作用を理解できるだけでなく、過度なスムーシングや過度なスカッシングに悩まされる。
本稿では,線形計算オーバーヘッドを伴うオーバー・スムーシングとオーバー・スキャッシングに対処するための,emph情報フロー制御機構を提案する。
さまざまなサイズ、トポロジ、密度、ホモフィリック比のグラフを含む10の実世界のデータセットを対象に、我々のモデルをベンチマークし、優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2025-01-10T14:34:20Z) - Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。
学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。
各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-09-26T16:22:08Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - MuseGNN: Forming Scalable, Convergent GNN Layers that Minimize a Sampling-Based Energy [27.328628715885287]
グラフニューラルネットワーク(GNN)アーキテクチャは、クロスインスタンス関係でデータをモデル化することができる。
このアーキテクチャの重要なサブクラスは、フォワードパスが関心のグラフ正規化エネルギー関数を反復的に還元するように設計された層を含む。
本稿では, ある設定における収束保証によって導かれる, サンプリングベースエネルギー関数と拡張性のあるGNN層を反復的に削減する手法を提案する。
また、これらの設計に基づいて完全なGNNアーキテクチャをインスタンス化し、1TBを超える最大公用ノード分類ベンチマークに適用した場合の競合精度とスケーラビリティを実現する。
論文 参考訳（メタデータ） (2023-10-19T04:30:14Z) - HINormer: Representation Learning On Heterogeneous Information Networks
with Graph Transformer [29.217820912610602]
グラフトランスフォーマー(GT)は、グラフ全体にわたってもメッセージパッシングがより広範なカバレッジに伝達できるパラダイムで機能する。
ヘテロジニアス情報ネットワーク(HIN)におけるGTの探索はまだ未公開である。
本稿では,ノード表現学習のための大域集約機構を利用するHINormerという新しいモデルを提案する。
論文 参考訳（メタデータ） (2023-02-22T12:25:07Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳（メタデータ） (2020-11-26T14:43:04Z) - Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text
Generation [56.73834525802723]
軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。
LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。
我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-09T06:03:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。