論文の概要: Toward General and Robust LLM-enhanced Text-attributed Graph Learning

• arxiv url: http://arxiv.org/abs/2504.02343v1
• Date: Thu, 03 Apr 2025 07:24:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:55:48.564795
• Title: Toward General and Robust LLM-enhanced Text-attributed Graph Learning
• Title（参考訳）: 汎用化とロバスト化 LLM-enhanced Text-attributed Graph Learning に向けて
• Authors: Zihao Zhang, Xunkai Li, Rong-Hua Li, Bing Zhou, Zhenjun Li, Guoren Wang,
• Abstract要約: UltraTAGはLLM強化TAG学習のための統一パイプラインである。 UltraTAG-Sは、現実世界のTAGに固有のスパシティ問題に取り組むために設計された堅牢なインスタンス化である。 実験の結果,UltraTAG-Sは既存のベースラインを著しく上回ることがわかった。
• 参考スコア（独自算出の注目度）: 29.55905028870534
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) and the proliferation of Text-Attributed Graphs (TAGs) across various domains have positioned LLM-enhanced TAG learning as a critical research area. By utilizing rich graph descriptions, this paradigm leverages LLMs to generate high-quality embeddings, thereby enhancing the representational capacity of Graph Neural Networks (GNNs). However, the field faces significant challenges: (1) the absence of a unified framework to systematize the diverse optimization perspectives arising from the complex interactions between LLMs and GNNs, and (2) the lack of a robust method capable of handling real-world TAGs, which often suffer from texts and edge sparsity, leading to suboptimal performance. To address these challenges, we propose UltraTAG, a unified pipeline for LLM-enhanced TAG learning. UltraTAG provides a unified comprehensive and domain-adaptive framework that not only organizes existing methodologies but also paves the way for future advancements in the field. Building on this framework, we propose UltraTAG-S, a robust instantiation of UltraTAG designed to tackle the inherent sparsity issues in real-world TAGs. UltraTAG-S employs LLM-based text propagation and text augmentation to mitigate text sparsity, while leveraging LLM-augmented node selection techniques based on PageRank and edge reconfiguration strategies to address edge sparsity. Our extensive experiments demonstrate that UltraTAG-S significantly outperforms existing baselines, achieving improvements of 2.12\% and 17.47\% in ideal and sparse settings, respectively. Moreover, as the data sparsity ratio increases, the performance improvement of UltraTAG-S also rises, which underscores the effectiveness and robustness of UltraTAG-S.
• Abstract（参考訳）: 大規模言語モデル(LLMs)の最近の進歩と多分野にわたるテキスト分散グラフ(TAGs)の普及は、LLM強化TAG学習を重要な研究領域として位置づけている。 このパラダイムは、リッチなグラフ記述を利用することで、LLMを活用して高品質な埋め込みを生成し、グラフニューラルネットワーク(GNN)の表現能力を向上させる。 しかし,1) LLMとGNNの複雑な相互作用から生じる多種多様な最適化の観点を体系化する統一フレームワークの欠如,2) テキストやエッジの疎外性に悩まされる現実世界のTAGを扱える堅牢な手法の欠如など,大きな課題に直面している。 これらの課題に対処するために,LLM強化TAG学習のための統一パイプラインであるUltraTAGを提案する。 UltraTAGは、既存の方法論を組織するだけでなく、将来的な分野の発展の道を開く、統合的でドメイン適応的なフレームワークを提供する。 この枠組みに基づいてUltraTAG-Sを提案する。UltraTAGは現実世界のTAGに固有のスパース性問題に対処するために設計されたUltraTAGの堅牢なインスタンス化である。 UltraTAG-S は LLM ベースのテキスト伝搬とテキスト拡張を利用してテキストの空間性を軽減するとともに,PageRank に基づく LLM 拡張ノード選択手法とエッジ再構成手法を利用してエッジの空間性に対処する。 我々の広範な実験により、UltraTAG-Sは既存のベースラインを著しく上回り、それぞれ2.12\%と17.47\%の改善を達成している。 さらに,データ分散率の増加に伴い,UltraTAG-Sの性能向上も進み,UltraTAG-Sの有効性とロバスト性を強調した。

関連論文リスト

• Model Generalization on Text Attribute Graphs: Principles with Large Language Models [14.657522068231138]
  グラフ学習には大規模言語モデル(LLM)が導入されており、ラベル付きグラフデータが不足しているタスクにゼロショットの一般化の成功を拡大することを目的としている。 本研究では,タスク適応型埋め込みと一般化可能なグラフ情報集約機構に基づく,テキスト分散グラフ(TAG)に対する推論フレームワークを開発する。 11の実世界のTAGベンチマークによる評価は、LLM-BPが既存のアプローチよりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2025-02-17T14:31:00Z)
• Evaluating and Improving Graph to Text Generation with Large Language Models [46.529034150391595]
  大規模言語モデル(LLM)は、様々なタスクにおいて大きな可能性を証明している。 我々は、グラフからテキストへの生成タスクにおいて、現在のオープンソース LLM を誘導する包括的な評価を行う。 我々は、新しいグラフからテキストへのデータセット、PlanGTGを導入し、2つのサブタスク、すなわちリオーダーと属性を注釈付けした。
  論文  参考訳（メタデータ） (2025-01-24T13:53:54Z)
• Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
  本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。 AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。 3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:19:12Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Sequential Visual and Semantic Consistency for Semi-supervised Text Recognition [56.968108142307976]
  Scene Text Recognition (STR) は、大規模なアノテートデータを必要とする課題である。 既存のSTR法の多くは、STRモデルの性能を低下させ、ドメイン差を生じさせる合成データに頼っている。 本稿では,視覚的・意味的両面から単語レベルの整合性正則化を取り入れたSTRの半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T13:00:54Z)
• LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition [67.96794382040547]
  $LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。 提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
  論文  参考訳（メタデータ） (2024-02-22T14:19:56Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs [5.587264586806575]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 LLMはラベルから意味情報を抽出し、模範としてカテゴリに属するサンプルを生成する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。