論文の概要: Improving global awareness of linkset predictions using Cross-Attentive Modulation tokens
- arxiv url: http://arxiv.org/abs/2405.19375v1
- Date: Tue, 28 May 2024 22:25:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 19:35:56.994973
- Title: Improving global awareness of linkset predictions using Cross-Attentive Modulation tokens
- Title（参考訳）: Cross-Attentive Modulationトークンを用いたリンクセット予測のグローバルな認識の改善
- Authors: Félix Marcoccia, Cédric Adjih, Paul Mühlethaler,
- Abstract要約: Cross-Attentive Modulation (CAM)トークンは、コンテキスト対応の計算を可能にするためにノードとエッジレベルの変調を条件付けるために使用されるクロスアテンティブユニットを導入している。
いくつかの置換不変アーキテクチャで実装し、私たちの仕事のメリットを証明するベンチマークをベンチマークします。
- 参考スコア（独自算出の注目度）: 1.6768151308423371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most of multiple link prediction or graph generation techniques rely on the attention mechanism or on Graph Neural Networks (GNNs), which consist in leveraging node-level information exchanges in order to form proper link predictions. Such node-level interactions do not process nodes as an ordered sequence, which would imply some kind of natural ordering of the nodes: they are said to be permutation invariant mechanisms. They are well suited for graph problems, but struggle at providing a global orchestration of the predicted links, which can result in a loss of performance. Some typical issues can be the difficulty to ensure high-level properties such as global connectedness, fixed diameter or to avoid information bottleneck effects such as oversmoothing and oversquashing, which respectively consist in abundant smoothing in dense areas leading to a loss of information and a tendency to exclude isolated nodes from the message passing scheme, and often result in irrelevant, unbalanced link predictions. To tackle this problem, we hereby present Cross-Attentive Modulation (CAM) tokens, which introduce cross-attentive units used to condition node and edge-level modulations in order to enable context-aware computations that improve the global consistency of the prediction links. We will implement it on a few permutation invariant architectures, and showcase benchmarks that prove the merits of our work.
- Abstract（参考訳）: 複数のリンク予測やグラフ生成技術のほとんどは、適切なリンク予測を形成するためにノードレベルの情報交換を利用するグラフニューラルネットワーク(GNN)に頼っている。
このようなノードレベルの相互作用は順序列としてノードを処理せず、ノードの自然な順序付けを暗示する。
グラフ問題には適しているが、予測されるリンクのグローバルなオーケストレーションの提供に苦慮しているため、パフォーマンスが損なわれる可能性がある。
典型的な問題は、大域的な接続性、固定径、過密化や過密化といった情報のボトルネック効果の回避などの高レベルな特性を確保することの難しさである。
この問題に対処するために、我々は、予測リンクのグローバル一貫性を改善するコンテキスト認識計算を可能にするために、ノードとエッジレベルの変調に使用されるクロスアテンテートユニットを導入するクロスアテンテート変調(CAM)トークンを提案する。
いくつかの置換不変アーキテクチャで実装し、私たちの仕事のメリットを証明するベンチマークをベンチマークします。
関連論文リスト
- Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳（メタデータ） (2023-12-16T14:09:23Z) - Network Alignment with Transferable Graph Autoencoders [79.89704126746204]
本稿では,強力で堅牢なノード埋め込みを抽出するグラフオートエンコーダアーキテクチャを提案する。
生成した埋め込みがグラフの固有値と固有ベクトルと結びついていることを証明する。
提案フレームワークは転送学習とデータ拡張を利用して,大規模なネットワークアライメントを実現する。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Learning to Identify Graphs from Node Trajectories in Multi-Robot
Networks [15.36505600407192]
本稿では,グローバル収束保証付きグラフトポロジを効率的に発見する学習ベースアプローチを提案する。
マルチロボット生成および群れ処理におけるグラフの同定におけるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-07-10T07:09:12Z) - Variational Disentangled Graph Auto-Encoders for Link Prediction [10.390861526194662]
本稿では,DGAE(disentangled graph auto-encoder)とVDGAE(variantal disentangled graph auto-encoder)の2つの変種を持つ新しいフレームワークを提案する。
提案フレームワークは,グラフのエッジの原因となる潜伏因子を推定し,その表現を一意の潜伏因子に対応する複数のチャネルに分解する。
論文 参考訳（メタデータ） (2023-06-20T06:25:05Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-05-22T10:29:52Z) - Graph Ordering Attention Networks [22.468776559433614]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに関わる多くの問題でうまく使われている。
近隣ノード間のインタラクションをキャプチャする新しいGNNコンポーネントであるグラフ順序付け注意層(GOAT)を導入する。
GOATレイヤは、複雑な情報をキャプチャするグラフメトリクスのモデリングにおけるパフォーマンスの向上を示す。
論文 参考訳（メタデータ） (2022-04-11T18:13:19Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
グラフ上のノードレベルの予測にOOD問題を定式化する。
そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-02-05T02:31:01Z) - Graph Convolutional Neural Networks with Node Transition
Probability-based Message Passing and DropNode Regularization [32.260055351563324]
最近、グラフ構造化データを扱う能力のため、グラフ畳み込みニューラルネットワーク(GCNN)が注目されている。
本研究は,ノード遷移確率に基づくメッセージパッシングプロセスを改善するための新しい手法を提案する。
また,DropNodeと呼ばれる新しい正規化手法を提案する。
論文 参考訳（メタデータ） (2020-08-28T10:51:03Z) - Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph
Link Prediction [69.1473775184952]
数発のアウトオブグラフリンク予測という現実的な問題を導入する。
我々は,新しいメタ学習フレームワークによってこの問題に対処する。
我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
論文 参考訳（メタデータ） (2020-06-11T17:42:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。