論文の概要: End-to-End Graph Flattening Method for Large Language Models

• arxiv url: http://arxiv.org/abs/2409.14880v1
• Date: Mon, 23 Sep 2024 10:28:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 20:39:08.799722
• Title: End-to-End Graph Flattening Method for Large Language Models
• Title（参考訳）: 大規模言語モデルのエンドツーエンドグラフフラット化法
• Authors: Bin Hong, Jinze Wu, Jiayu Liu, Liang Ding, Jing Sha, Kai Zhang, Shijin Wang, Zhenya Huang,
• Abstract要約: グラフをLarge Language Models (LLM) の自然言語に変換する一般的な実践は、優れた一般化性と解釈可能性を示している。 人間の認知的推論の習慣に触発されて,エンド・ツー・エンドDAG-Path prompting (EEDP) と呼ばれるLCMに適合するグラフ平坦化法を提案する。 実世界のデータセットでの実験では、EEDPは長距離シナリオにおけるLLMの推論性能を高めつつ、短距離シナリオにおける優れたパフォーマンスを維持している。
• 参考スコア（独自算出の注目度）: 37.48939769496541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the breakthrough of Large Language Models (LLMs) offers new ideas for achieving universal methods on graph data. The common practice of converting graphs into natural language for LLMs, which refers to graph flattening, exhibits good generalizability and interpretability. However, the poor organization of the textual format results in poor performance in long-distance scenario understanding. Inspired by human cognitive reasoning habits, we propose a novel method for graph flattening to fit LLMs, termed as End-to-End DAG-Path prompting (EEDP). Experiments on real-world datasets show that EEDP enhances the reasoning performance of LLMs in long-distance scenarios while maintaining excellent performance in short-distance scenarios, demonstrating good robustness in the face of distance variations.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) のブレークスルーは,グラフデータ上で普遍的な手法を実現するための新しいアイデアを提供する。 グラフを LLM の自然言語に変換する一般的な実践は、グラフ平坦化を指し、優れた一般化可能性と解釈可能性を示している。 しかし、テキストフォーマットの貧弱な構成は、長距離シナリオ理解におけるパフォーマンスの低下をもたらす。 人間の認知的推論の習慣に触発されて,エンド・ツー・エンドDAG-Path prompting (EEDP) と呼ばれるLCMに適合するグラフ平坦化法を提案する。 実世界のデータセットにおける実験により、EEDPは長距離シナリオにおけるLLMの推論性能を向上するとともに、短距離シナリオにおける優れた性能を維持し、距離変動に直面した良好な堅牢性を示す。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Dr.E Bridges Graphs with Large Language Models through Words [12.22063024099311]
  本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Large Language Model with Graph Convolution for Recommendation [21.145230388035277]
  テキスト情報は、時々品質の低いものになり、現実世界のアプリケーションにとってその効果を阻害する。 大きな言語モデルにカプセル化された知識と推論機能によって、LCMを活用することが、記述改善の有望な方法として現れます。 本稿では,ユーザ・イテムグラフの高次関係を捉えるために,LLMを抽出するグラフ対応畳み込みLLM法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T00:04:33Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
  Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。 我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。 提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-07T22:35:16Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。