論文の概要: Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder

• arxiv url: http://arxiv.org/abs/2310.06684v2
• Date: Sat, 13 Jul 2024 17:43:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 04:48:58.624980
• Title: Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder
• Title（参考訳）: 1言語モデルエンコーダを用いたテキスト分散グラフの多重表現学習
• Authors: Bowen Jin, Wentao Zhang, Yu Zhang, Yu Meng, Han Zhao, Jiawei Han,
• Abstract要約: テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。 既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。 学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
• 参考スコア（独自算出の注目度）: 55.24276913049635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world scenarios, texts in a graph are often linked by multiple semantic relations (e.g., papers in an academic graph are referenced by other publications, written by the same author, or published in the same venue), where text documents and their relations form a multiplex text-attributed graph. Mainstream text representation learning methods use pretrained language models (PLMs) to generate one embedding for each text unit, expecting that all types of relations between texts can be captured by these single-view embeddings. However, this presumption does not hold particularly in multiplex text-attributed graphs. Along another line of work, multiplex graph neural networks (GNNs) directly initialize node attributes as a feature vector for node representation learning, but they cannot fully capture the semantics of the nodes' associated texts. To bridge these gaps, we propose METAG, a new framework for learning Multiplex rEpresentations on Text-Attributed Graphs. In contrast to existing methods, METAG uses one text encoder to model the shared knowledge across relations and leverages a small number of parameters per relation to derive relation-specific representations. This allows the encoder to effectively capture the multiplex structures in the graph while also preserving parameter efficiency. We conduct experiments on nine downstream tasks in five graphs from both academic and e-commerce domains, where METAG outperforms baselines significantly and consistently. The code is available at https://github.com/PeterGriffinJin/METAG.
• Abstract（参考訳）: 現実のシナリオでは、グラフ内のテキストは、しばしば複数の意味関係(例えば、学術グラフ内の論文は、他の出版物によって参照され、同じ著者によって書かれたり、同じ場所で公開されたりする)によってリンクされる。 メインストリームテキスト表現学習法は、プレトレーニング言語モデル(PLM)を使用して、各テキストユニットに1つの埋め込みを生成する。 しかし、この推定は特に多重テキスト属性グラフには当てはまらない。 別の作業の行に沿って、多重グラフニューラルネットワーク(GNN)はノード表現学習のための特徴ベクトルとしてノード属性を直接初期化するが、ノードの関連するテキストのセマンティクスを完全にキャプチャすることはできない。 これらのギャップを埋めるため,テキスト分散グラフ上でのMultiformx rEpresentationsを学習するための新しいフレームワークであるMETAGを提案する。 既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して、関係をまたいだ共有知識をモデル化し、関係性固有の表現を導出するために、関係ごとに少数のパラメータを利用する。 これにより、エンコーダは、パラメータ効率を保ちながら、グラフ内の多重構造を効果的にキャプチャできる。 学術および電子商取引分野の5つのグラフにおいて、9つの下流タスクの実験を行い、METAGはベースラインを著しく、一貫して上回ります。 コードはhttps://github.com/PeterGriffinJin/METAGで入手できる。

関連論文リスト

• DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs [28.340416573162898]
  動的テキスト分散グラフ(DyTAG)は、様々な実世界のシナリオで一般的である。 幅広い適用性にもかかわらず、DyTAGに合わせたベンチマークデータセットは、顕著に不足している。 大規模な時間進化グラフのコレクションである動的テキスト分散グラフベンチマーク(DTGB)を導入する。
  論文  参考訳（メタデータ） (2024-06-17T20:16:12Z)
• UniGLM: Training One Unified Language Model for Text-Attributed Graphs [31.464021556351685]
  統一グラフ言語モデル(Unified Graph Language Model、UniGLM)は、グラフ埋め込みモデルであり、ドメイン内およびドメイン間TAGの両方によく一般化する。 UniGLMには、構造的に類似したノードを特定するための適応的な正のサンプル選択技術と、トレーニングを加速するために考案された遅延コントラストモジュールが含まれている。
  論文  参考訳（メタデータ） (2024-06-17T19:45:21Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Enriching language models with graph-based context information to better understand textual data [0.15469452301122172]
  BERTモデルへのグラフベースの文脈化が,分類タスクの例において,その性能を向上させることを実験的に実証した。 具体的には、Pubmedデータセット上で、エラーを8.51%から7.96%に削減し、パラメータの数を1.6%増加させた。
  論文  参考訳（メタデータ） (2023-05-10T10:57:21Z)
• Modeling Graph Structure via Relative Position for Text Generation from Knowledge Graphs [54.176285420428776]
  グラフ-テキスト生成のための新しいトランスフォーマーベースのエンコーダデコーダアーキテクチャであるGraformerを提案する。 新たなグラフの自己アテンションでは、ノードのエンコーディングは入力グラフのすべてのノードに依存します。 グレーフォーマーは、これらのノード-ノードの関係を異なるアテンションヘッドに対して異なる重み付けを学習し、入力グラフの異なる連結ビューを仮想的に学習する。
  論文  参考訳（メタデータ） (2020-06-16T15:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。