論文の概要: Global Communication or Graph-Specific Memory?
- arxiv url: http://arxiv.org/abs/2610.05874v1
- Date: Mon, 05 Oct 2026 06:43:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 03:34:29.028207
- Title: Global Communication or Graph-Specific Memory?
- Title(参考訳): グローバル通信かグラフ特化記憶か?
- Abstract要約: Graph Transformerコンポーネントは、仮想ノードと同様に、一定のサイズの共有メモリとして定式化することができ、グラフ全体の圧縮情報を提供する。
しかし、1つの固定グラフ上のトランスダクティブ学習では、共有メモリはテスト時に定数と見なすことができる。
共有メモリの最適化はグローバルな通信方式とよく似ているという予備的証拠を与えるので、通常のローカルメッセージパッシングモデルは、その重みに類似した情報を埋め込むことができる。
- 参考スコア(独自算出の注目度): 15.472251771147628
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scalable Graph Transformers are commonly trained and evaluated on static large graphs in a transductive setup. Many scalable Graph Transformer components can be formulated as a constant-size shared memory, similar to virtual nodes, providing compressed information about the whole graph. The counterpart of these models in language models and other domains is justified as the input changes, and this mechanism learns to compress some useful information about the input. In transductive learning on a single fixed graph, however, any shared memory can be seen as a constant at test time. This raises the question of what exactly this shared memory does in this static setup. We give preliminary evidence that optimizing a shared memory directly performs similarly to global communication methods, and so normal local message-passing models can embed similar information in their weights. Thus, these settings may be a poor fit for evaluating global communication in graph neural networks.
- Abstract(参考訳): スケーラブルグラフトランスフォーマーは、一般的にトレーニングされ、トランスダクティブなセットアップで静的な大きなグラフで評価される。
多くのスケーラブルなGraph Transformerコンポーネントは、仮想ノードと同様に、一定のサイズの共有メモリとして定式化することができ、グラフ全体の圧縮情報を提供する。
言語モデルや他の領域におけるこれらのモデルの対応は入力の変化として正当化され、このメカニズムは入力に関する有用な情報を圧縮することを学ぶ。
しかし、1つの固定グラフ上のトランスダクティブ学習では、共有メモリはテスト時に定数と見なすことができる。
これにより、この静的な設定で共有メモリが正確に何をするかという疑問が持ち上がる。
共有メモリの最適化はグローバルな通信方式とよく似ているという予備的証拠を与えるので、通常のローカルメッセージパッシングモデルは、その重みに類似した情報を埋め込むことができる。
したがって、これらの設定はグラフニューラルネットワークのグローバル通信を評価するのに適していないかもしれない。
関連論文リスト
- Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。
グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。
本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
論文 参考訳(メタデータ) (2024-06-25T14:57:38Z) - VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections [45.27160435758666]
本稿では,各ノードのトークンリストをバッチにロードすることで,グラフトランスフォーマーのミニバッチトレーニングを可能にすることを示す。
さらに、このPPRトークン化は、固定フィルタとジャンプ知識を備えたグラフ畳み込みネットワークとして有効であることを示す。
論文 参考訳(メタデータ) (2024-03-24T06:10:56Z) - MGNet: Learning Correspondences via Multiple Graphs [78.0117352211091]
学習対応は、不均一な対応分布と低い不整合率で設定された初期対応から正しい対応を見つけることを目的としている。
最近の進歩は、通常、グラフニューラルネットワーク(GNN)を使用して単一のタイプのグラフを構築したり、グローバルなグラフに局所グラフをスタックしてタスクを完了させる。
本稿では,複数の補完グラフを効果的に組み合わせるためのMGNetを提案する。
論文 参考訳(メタデータ) (2024-01-10T07:58:44Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Privatized Graph Federated Learning [57.14673504239551]
グラフによって連結された複数の単位からなるグラフフェデレーション学習を導入する。
グラフ準同型摂動はアルゴリズムが微分プライベートであることを保証するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2022-03-14T13:48:23Z) - Scaling R-GCN Training with Graph Summarization [71.06855946732296]
リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。
本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。
AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
論文 参考訳(メタデータ) (2022-03-05T00:28:43Z) - Improving Graph Property Prediction with Generalized Readout Functions [0.8611782340880084]
本稿では,メッセージパッシングニューラルネットワークのリードアウトフェーズで発生する情報損失を軽減するために,新しいグローバルプール層を導入する。
我々は、現在の最高の性能のアーキテクチャを取り入れ、読み出し層をドロップイン代替として利用することで、人気のあるグラフプロパティ予測タスクでテストする。
論文 参考訳(メタデータ) (2020-09-21T14:41:48Z) - Video Object Segmentation with Episodic Graph Memory Networks [198.74780033475724]
セグメント化モデルを更新する学習」という新しいアイデアに対処するために,グラフメモリネットワークが開発された。
我々は、完全に連結されたグラフとして構成されたエピソードメモリネットワークを利用して、フレームをノードとして保存し、エッジによってフレーム間の相関をキャプチャする。
提案したグラフメモリネットワークは、一発とゼロショットの両方のビデオオブジェクトセグメンテーションタスクをうまく一般化できる、巧妙だが原則化されたフレームワークを提供する。
論文 参考訳(メタデータ) (2020-07-14T13:19:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。