論文の概要: UniGLM: Training One Unified Language Model for Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2406.12052v1
• Date: Mon, 17 Jun 2024 19:45:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 23:57:20.023122
• Title: UniGLM: Training One Unified Language Model for Text-Attributed Graphs
• Title（参考訳）: UniGLM: テキスト分散グラフのための統一言語モデルのトレーニング
• Authors: Yi Fang, Dongzhe Fan, Sirui Ding, Ninghao Liu, Qiaoyu Tan,
• Abstract要約: 統一グラフ言語モデル(Unified Graph Language Model、UniGLM)は、グラフ埋め込みモデルであり、ドメイン内およびドメイン間TAGの両方によく一般化する。 UniGLMには、構造的に類似したノードを特定するための適応的な正のサンプル選択技術と、トレーニングを加速するために考案された遅延コントラストモジュールが含まれている。
• 参考スコア（独自算出の注目度）: 31.464021556351685
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Representation learning on text-attributed graphs (TAGs), where nodes are represented by textual descriptions, is crucial for textual and relational knowledge systems and recommendation systems. Currently, state-of-the-art embedding methods for TAGs primarily focus on fine-tuning language models (e.g., BERT) using structure-aware training signals. While effective, these methods are tailored for individual TAG and cannot generalize across various graph scenarios. Given the shared textual space, leveraging multiple TAGs for joint fine-tuning, aligning text and graph structure from different aspects, would be more beneficial. Motivated by this, we introduce a novel Unified Graph Language Model (UniGLM) framework, the first graph embedding model that generalizes well to both in-domain and cross-domain TAGs. Specifically, UniGLM is trained over multiple TAGs with different domains and scales using self-supervised contrastive learning. UniGLM includes an adaptive positive sample selection technique for identifying structurally similar nodes and a lazy contrastive module that is devised to accelerate training by minimizing repetitive encoding calculations. Extensive empirical results across 9 benchmark TAGs demonstrate UniGLM's efficacy against leading embedding baselines in terms of generalization (various downstream tasks and backbones) and transfer learning (in and out of domain scenarios). The code is available at https://github.com/NYUSHCS/UniGLM.
• Abstract（参考訳）: ノードをテキスト記述で表現するTAG(text-attributed graph)での表現学習は、テキストおよびリレーショナル知識システムやレコメンデーションシステムにおいて重要である。 現在、TAGの最先端の埋め込み手法は主に構造認識学習信号を用いた微調整言語モデル(例えばBERT)に焦点を当てている。 有効ではあるが、これらの手法は個々のTAGに合わせて調整されており、様々なグラフシナリオにまたがる一般化はできない。 共有されたテキスト空間を考えると、複数のTAGを活用して、異なる側面からテキストとグラフ構造を調整することはより有益である。 そこで我々はUnified Graph Language Model (UniGLM) フレームワークを紹介した。これは、ドメイン内およびドメイン間のTAGをうまく一般化する最初のグラフ埋め込みモデルである。 具体的には、UniGLMは、異なるドメインとスケールを持つ複数のTAGに対して、自己教師付きコントラスト学習を使用して訓練される。 UniGLMには、構造的に類似したノードを特定するための適応的な正のサンプル選択技術と、反復符号化計算を最小化してトレーニングを加速するために考案された遅延コントラストモジュールが含まれている。 9つのベンチマークTAGの広範な実験結果は、UniGLMが一般化(様々な下流タスクとバックボーン)と移行学習(ドメインシナリオ内および外)の観点から、主要な埋め込みベースラインに対して有効であることを実証している。 コードはhttps://github.com/NYUSHCS/UniGLMで入手できる。

関連論文リスト

• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs [28.340416573162898]
  動的テキスト分散グラフ(DyTAG)は、様々な実世界のシナリオで一般的である。 幅広い適用性にもかかわらず、DyTAGに合わせたベンチマークデータセットは、顕著に不足している。 大規模な時間進化グラフのコレクションである動的テキスト分散グラフベンチマーク(DTGB)を導入する。
  論文  参考訳（メタデータ） (2024-06-17T20:16:12Z)
• TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations [15.873944819608434]
  Text-Attributed Graphs (TAG)は、自然言語記述によるグラフ構造を強化する。 本稿では,TAGの構造的・意味的次元を統合した,新たな自己教師型学習フレームワークであるText-And-Graph Multi-View Alignment(TAGA)を紹介する。 本フレームワークは,8つの実世界のデータセットを対象としたゼロショットおよび少数ショットシナリオにおいて,強力なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-05-27T03:40:16Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
  テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。 既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。 学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-10-10T14:59:22Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。