論文の概要: Democratizing Large Language Model-Based Graph Data Augmentation via Latent Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2502.13555v1
• Date: Wed, 19 Feb 2025 09:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:01.130559
• Title: Democratizing Large Language Model-Based Graph Data Augmentation via Latent Knowledge Graphs
• Title（参考訳）: 潜在知識グラフによる大規模言語モデルに基づくグラフデータ拡張の民主化
• Authors: Yushi Feng, Tsai Hor Chan, Guosheng Yin, Lequan Yu,
• Abstract要約: グラフデータの不足やノイズによるグラフ表現学習には,データ拡張が必要である。 我々は、LCMのガイダンスであるDemoGraphを用いて、ブラックボックスのコンテキスト駆動グラフデータ拡張手法を提案する。 本手法は,電子健康記録(EHRs)のシナリオに優れ,文脈知識の最大限活用を実証する。
• 参考スコア（独自算出の注目度）: 22.218522445858344
• License:
• Abstract: Data augmentation is necessary for graph representation learning due to the scarcity and noise present in graph data. Most of the existing augmentation methods overlook the context information inherited from the dataset as they rely solely on the graph structure for augmentation. Despite the success of some large language model-based (LLM) graph learning methods, they are mostly white-box which require access to the weights or latent features from the open-access LLMs, making them difficult to be democratized for everyone as existing LLMs are mostly closed-source for commercial considerations. To overcome these limitations, we propose a black-box context-driven graph data augmentation approach, with the guidance of LLMs -- DemoGraph. Leveraging the text prompt as context-related information, we task the LLM with generating knowledge graphs (KGs), which allow us to capture the structural interactions from the text outputs. We then design a dynamic merging schema to stochastically integrate the LLM-generated KGs into the original graph during training. To control the sparsity of the augmented graph, we further devise a granularity-aware prompting strategy and an instruction fine-tuning module, which seamlessly generates text prompts according to different granularity levels of the dataset. Extensive experiments on various graph learning tasks validate the effectiveness of our method over existing graph data augmentation methods. Notably, our approach excels in scenarios involving electronic health records (EHRs), which validates its maximal utilization of contextual knowledge, leading to enhanced predictive performance and interpretability.
• Abstract（参考訳）: グラフデータの不足やノイズによるグラフ表現学習には,データ拡張が必要である。 既存の拡張手法のほとんどは、拡張のためにグラフ構造のみに依存するため、データセットから継承されたコンテキスト情報を見逃している。 大規模言語モデルベース (LLM) グラフ学習手法の成功にもかかわらず、それらは主にホワイトボックスであり、オープンアクセス LLM から重みや潜伏した特徴にアクセスする必要がある。 これらの制限を克服するため、我々は、LCM -- DemoGraphのガイダンスを用いて、ブラックボックスのコンテキスト駆動グラフデータ拡張アプローチを提案する。 テキストプロンプトを文脈関連情報として活用することで、我々はLLMに知識グラフ(KG)を生成し、テキスト出力から構造的相互作用をキャプチャする。 次に、LLM生成したKGをトレーニング中に元のグラフに確率的に統合する動的マージスキーマを設計する。 さらに、拡張グラフの空間性を制御するために、データセットの粒度レベルに応じてテキストプロンプトをシームレスに生成する、粒度認識型プロンプト戦略と命令微調整モジュールを考案する。 各種グラフ学習タスクにおける広範囲な実験により,既存のグラフデータ拡張法に対する提案手法の有効性が検証された。 特に,電子健康記録(EHRs)を事例として,文脈知識の最大限活用を検証し,予測性能と解釈可能性の向上を図っている。

関連論文リスト

• Graph Learning in the Era of LLMs: A Survey from the Perspective of Data, Models, and Tasks [25.720233631885726]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)の統合は、有望な技術パラダイムとして現れている。 データ品質を根本的に向上させるために、リッチなセマンティックコンテキストを持つグラフ記述テキストを活用します。 この研究は、グラフ学習方法論の進歩を目指す研究者や実践者にとって、基礎的な参考となる。
  論文  参考訳（メタデータ） (2024-12-17T01:41:17Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
  Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。 我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。 提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-07T22:35:16Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。