論文の概要: Neighbour-level Message Interaction Encoding for Improved Representation Learning on Graphs

• arxiv url: http://arxiv.org/abs/2404.09809v1
• Date: Mon, 15 Apr 2024 14:07:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 22:07:08.316861
• Title: Neighbour-level Message Interaction Encoding for Improved Representation Learning on Graphs
• Title（参考訳）: グラフ上での表現学習改善のための近隣レベルのメッセージインタラクション符号化
• Authors: Haimin Zhang, Min Xu,
• Abstract要約: 本稿では,グラフ表現学習を改善するための近隣レベルのメッセージインタラクション情報符号化手法を提案する。 提案手法は,メッセージパスグラフ畳み込みネットワークに統合可能な汎用手法である。
• 参考スコア（独自算出の注目度）: 13.83680253264399
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Message passing has become the dominant framework in graph representation learning. The essential idea of the message-passing framework is to update node embeddings based on the information aggregated from local neighbours. However, most existing aggregation methods have not encoded neighbour-level message interactions into the aggregated message, resulting in an information lost in embedding generation. And this information lost could be accumulated and become more serious as more layers are added to the graph network model. To address this issue, we propose a neighbour-level message interaction information encoding method for improving graph representation learning. For messages that are aggregated at a node, we explicitly generate an encoding between each message and the rest messages using an encoding function. Then we aggregate these learned encodings and take the sum of the aggregated encoding and the aggregated message to update the embedding for the node. By this way, neighbour-level message interaction information is integrated into the generated node embeddings. The proposed encoding method is a generic method which can be integrated into message-passing graph convolutional networks. Extensive experiments are conducted on six popular benchmark datasets across four highly-demanded tasks. The results show that integrating neighbour-level message interactions achieves improved performance of the base models, advancing the state of the art results for representation learning over graphs.
• Abstract（参考訳）: メッセージパッシングはグラフ表現学習において支配的なフレームワークとなっている。 メッセージパッシングフレームワークの基本的な考え方は、近隣地域から収集された情報に基づいてノードの埋め込みを更新することである。 しかし、既存のアグリゲーション手法の多くは、アグリゲーションされたメッセージに近隣レベルのメッセージインタラクションをエンコードしていないため、埋め込み生成で失われる。 そして、失われたこれらの情報は蓄積され、より多くのレイヤがグラフネットワークモデルに追加されるにつれて、より深刻になる可能性がある。 この問題に対処するために,グラフ表現学習を改善するための近隣レベルのメッセージインタラクション情報符号化手法を提案する。 ノードに集約されたメッセージに対して、エンコード関数を使用して各メッセージと他のメッセージの間のエンコードを明示的に生成する。 次に、これらの学習されたエンコーディングを集約し、集約されたエンコーディングと集約されたメッセージの総和を取り、ノードの埋め込みを更新する。 このようにして、近隣レベルのメッセージインタラクション情報を生成されたノード埋め込みに統合する。 提案手法は,メッセージパスグラフ畳み込みネットワークに統合可能な汎用手法である。 大規模な実験は、4つの高要求タスクにわたる6つの人気のあるベンチマークデータセットで実施されている。 その結果, 近接レベルメッセージインタラクションの統合により, 基礎モデルの性能が向上し, グラフ上での表現学習の最先端化が図られた。

関連論文リスト

• Differential Encoding for Improved Representation Learning over Graphs [15.791455338513815]
  メッセージパッシングパラダイムとグローバルアテンションメカニズムは、基本的にノードの埋め込みを生成する。 支配的な情報がノード自身からなのか、あるいはノードの隣人からなのかは不明だ。 本稿では,失った情報の問題に対処する差分符号化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T02:23:33Z)
• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing [0.0]
  GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。 GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。 提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
  論文  参考訳（メタデータ） (2023-11-26T22:22:38Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs [63.12058935995516]
  最近のグラフ・トゥ・テキストモデルでは、グローバル・アグリゲーションまたはローカル・アグリゲーションを使用してグラフベースのデータからテキストを生成する。 本稿では,グローバルなノードコンテキストとローカルなノードコンテキストを組み合わせた入力グラフを符号化するニューラルモデルを提案する。 われわれのアプローチは、2つのグラフからテキストへのデータセットに大きな改善をもたらす。
  論文  参考訳（メタデータ） (2020-01-29T18:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。