論文の概要: GraphiT: Efficient Node Classification on Text-Attributed Graphs with Prompt Optimized LLMs

• arxiv url: http://arxiv.org/abs/2502.10522v1
• Date: Fri, 14 Feb 2025 19:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:58.442420
• Title: GraphiT: Efficient Node Classification on Text-Attributed Graphs with Prompt Optimized LLMs
• Title（参考訳）: GraphiT: プロンプト最適化LLMを用いたテキスト分散グラフの効率的なノード分類
• Authors: Shima Khoshraftar, Niaz Abedini, Amir Hajian,
• Abstract要約: GraphiT(Graphs in Text)は、グラフをテキストフォーマットにエンコードするフレームワークである。 GraphiTがすぐに微調整することなく、測定可能な結果をもたらす方法を示します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The application of large language models (LLMs) to graph data has attracted a lot of attention recently. LLMs allow us to use deep contextual embeddings from pretrained models in text-attributed graphs, where shallow embeddings are often used for the text at- tributes of nodes. However, it is still challenging to efficiently en- code the graph structure and features into a sequential form for use by LLMs. In addition, the performance of an LLM alone, is highly dependent on the structure of the input prompt, which limits their effectiveness as a reliable approach and often requires iterative man- ual adjustments that could be slow, tedious and difficult to replicate programmatically. In this paper, we propose GraphiT (Graphs in Text), a framework for encoding graphs into a textual format and optimizing LLM prompts for graph prediction tasks. Here we focus on node classification for text-attributed graphs. We encode the graph data for every node and its neighborhood into a concise text to enable LLMs to better utilize the information in the graph. We then further programmatically optimize the LLM prompts us- ing the DSPy framework to automate this step and make it more efficient and reproducible. GraphiT outperforms our LLM-based baselines on three datasets and we show how the optimization step in GraphiT leads to measurably better results without manual prompt tweaking. We also demonstrated that our graph encoding approach is competitive to other graph encoding methods while being less expensive because it uses significantly less tokens for the same task.
• Abstract（参考訳）: 近年,グラフデータへの大規模言語モデル(LLM)の適用が注目されている。 LLMでは、事前学習したモデルから、浅い埋め込みをノードの属性のテキストによく使用するテキスト分散グラフに、深いコンテキスト埋め込みを使用できます。 しかし、LLMが使用するシーケンシャルな形式にグラフ構造と機能を効率的にエンコードすることは依然として困難である。 加えて、LSM単独の性能は入力プロンプトの構造に大きく依存しており、信頼性の高いアプローチとしての有効性を制限し、しばしばプログラム的に複製するのが遅く、面倒で困難であるような反復的なマニュアル調整を必要とする。 本稿では,グラフをテキスト形式に符号化し,LLMプロンプトを最適化するフレームワークであるGraphiT(Graphs in Text)を提案する。 ここでは、テキスト分散グラフのノード分類に焦点を当てる。 我々は,各ノードとその周辺地域のグラフデータを簡潔なテキストにエンコードし,LLMがグラフ内の情報をよりよく活用できるようにする。 そして、さらにプログラム的にLCMのプロンプトを最適化し、DSPyフレームワークを使ってこのステップを自動化し、より効率的かつ再現可能にします。 GraphiTは3つのデータセットでLLMベースのベースラインよりも優れています。 グラフ符号化手法は他のグラフ符号化手法と競合するが、同じタスクにトークンをはるかに少なく使用するため、コストが安いことも実証した。

関連論文リスト

• Democratizing Large Language Model-Based Graph Data Augmentation via Latent Knowledge Graphs [22.218522445858344]
  グラフデータの不足やノイズによるグラフ表現学習には,データ拡張が必要である。 我々は、LCMのガイダンスであるDemoGraphを用いて、ブラックボックスのコンテキスト駆動グラフデータ拡張手法を提案する。 本手法は,電子健康記録(EHRs)のシナリオに優れ,文脈知識の最大限活用を実証する。
  論文  参考訳（メタデータ） (2025-02-19T09:00:32Z)
• GraphSOS: Graph Sampling and Order Selection to Help LLMs Understand Graphs Better [13.742220809751627]
  GraphSOSは、グラフデータを自然言語テキストに変換する新しいフレームワークである。 Order Selector Moduleはグラフの適切なシリアライズ順序を保証するもので、Subgraph Smpling Moduleはより良い推論のためにより良い構造を持つサブグラフをサンプリングする。 ノード分類とグラフ問合せのための複数のデータセットの実験は、GraphSOSがグラフタスクにおけるLLMのパフォーマンスと能力を改善することを示した。
  論文  参考訳（メタデータ） (2025-01-24T11:55:57Z)
• Graph Linearization Methods for Reasoning on Graphs with Large Language Models [25.3545522174459]
  グラフは、ローカル依存やグローバルアライメントなど、自然言語テキストの特定の特性を反映するように線形化されるべきである。 本稿では,グラフの中央性,縮退性,ノードの可逆性に基づくグラフ線形化手法を提案する。 本研究は,LLMに適した新しいグラフ表現を導入し,マルチモーダル処理のトレンドとグラフ機械学習の潜在的な統合に寄与する。
  論文  参考訳（メタデータ） (2024-10-25T11:51:37Z)
• What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
  大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。 我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。