論文の概要: GraphSOS: Graph Sampling and Order Selection to Help LLMs Understand Graphs Better

• arxiv url: http://arxiv.org/abs/2501.14427v3
• Date: Wed, 12 Feb 2025 01:33:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:45:44.118630
• Title: GraphSOS: Graph Sampling and Order Selection to Help LLMs Understand Graphs Better
• Title（参考訳）: GraphSOS: LLMのグラフ理解を支援するグラフサンプリングと順序選択
• Authors: Xu Chu, Hanlin Xue, Zhijie Tan, Bingce Wang, Tong Mo, Weiping Li,
• Abstract要約: GraphSOSは、グラフデータを自然言語テキストに変換する新しいフレームワークである。 Order Selector Moduleはグラフの適切なシリアライズ順序を保証するもので、Subgraph Smpling Moduleはより良い推論のためにより良い構造を持つサブグラフをサンプリングする。 ノード分類とグラフ問合せのための複数のデータセットの実験は、GraphSOSがグラフタスクにおけるLLMのパフォーマンスと能力を改善することを示した。
• 参考スコア（独自算出の注目度）: 13.742220809751627
• License:
• Abstract: The success of Large Language Models (LLMs) in various domains has led researchers to apply them to graph-related problems by converting graph data into natural language text. However, unlike graph data, natural language inherently has sequential order. We observe a counter-intuitive fact that when the order of nodes or edges in the natural language description of a graph is shuffled, despite describing the same graph, model performance fluctuates between high performance and random guessing. Additionally, due to LLMs' limited input context length, current methods typically randomly sample neighbors of target nodes as representatives of their neighborhood, which may not always be effective for accurate reasoning. To address these gaps, we introduce GraphSOS (Graph Sampling and Order Selection). This novel model framework features an Order Selector Module to ensure proper serialization order of the graph and a Subgraph Sampling Module to sample subgraphs with better structure for better reasoning. Furthermore, we propose Graph CoT obtained through distillation, and enhance LLM's reasoning and zero-shot learning capabilities for graph tasks through instruction tuning. Experiments on multiple datasets for node classification and graph question-answering demonstrate that GraphSOS improves LLMs' performance and generalization ability on graph tasks.
• Abstract（参考訳）: 様々な領域におけるLarge Language Models(LLMs)の成功により、研究者はグラフデータを自然言語テキストに変換することによってグラフ関連の問題に適用した。 しかし、グラフデータとは異なり、自然言語は本質的にシーケンシャルな順序を持つ。 グラフの自然言語記述におけるノードやエッジの順序が、同じグラフを記述してもシャッフルされると、モデル性能は高い性能とランダムな推測の間で変動するという事実を直感的に観察する。 加えて、LLMの入力コンテキスト長が制限されているため、現在の手法は通常、ターゲットノードの隣人をその近傍の代表としてランダムにサンプリングするが、正確な推論には必ずしも有効ではない。 これらのギャップに対処するため、GraphSOS(Graph Smpling and Order Selection)を導入します。 この新しいモデルフレームワークは、グラフの適切なシリアライズ順序を保証するオーダーセレクタモジュールと、より良い推論のためにより良い構造を持つサブグラフをサンプリングするサブグラフサンプリングモジュールを備えている。 さらに, 蒸留により得られたグラフCoTを提案し, インストラクションチューニングにより, LLMの推論およびゼロショット学習能力を向上する。 ノード分類とグラフ質問応答のための複数のデータセットの実験は、GraphSOSがグラフタスクにおけるLLMのパフォーマンスと一般化能力を改善することを示した。

関連論文リスト

• GraphiT: Efficient Node Classification on Text-Attributed Graphs with Prompt Optimized LLMs [0.0]
  GraphiT(Graphs in Text)は、グラフをテキストフォーマットにエンコードするフレームワークである。 GraphiTがすぐに微調整することなく、測定可能な結果をもたらす方法を示します。
  論文  参考訳（メタデータ） (2025-02-14T19:38:41Z)
• Graph Linearization Methods for Reasoning on Graphs with Large Language Models [25.3545522174459]
  グラフは、ローカル依存やグローバルアライメントなど、自然言語テキストの特定の特性を反映するように線形化されるべきである。 本稿では,グラフの中央性,縮退性,ノードの可逆性に基づくグラフ線形化手法を提案する。 本研究は,LLMに適した新しいグラフ表現を導入し,マルチモーダル処理のトレンドとグラフ機械学習の潜在的な統合に寄与する。
  論文  参考訳（メタデータ） (2024-10-25T11:51:37Z)
• What Do LLMs Need to Understand Graphs: A Survey of Parametric Representation of Graphs [69.48708136448694]
  大規模言語モデル(LLM)は、期待される推論能力と推論能力のために、AIコミュニティで再編成されている。 我々は、グラフのこのようなパラメトリック表現、グラフ法則は、LLMがグラフデータを入力として理解させるソリューションであると信じている。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment [30.136514352238795]
  InstructGraphは、グラフ推論と生成の能力を備えた大規模な言語モデルを強化するフレームワークである。 InstructGraph は GPT-4 と LLaMA2 を 13% 以上,LLaMA2 は 38% 以上向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-13T20:47:17Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• Graph Mixup with Soft Alignments [49.61520432554505]
  本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。 ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
  論文  参考訳（メタデータ） (2023-06-11T22:04:28Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。