論文の概要: Which Modality should I use -- Text, Motif, or Image? : Understanding
Graphs with Large Language Models
- arxiv url: http://arxiv.org/abs/2311.09862v1
- Date: Thu, 16 Nov 2023 12:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:04:39.806262
- Title: Which Modality should I use -- Text, Motif, or Image? : Understanding
Graphs with Large Language Models
- Title(参考訳): テキスト、モチーフ、イメージなど、どのモードを使うべきか?
大規模言語モデルによるグラフ理解
- Authors: Debarati Das, Ishaan Gupta, Jaideep Srivastava, Dongyeop Kang
- Abstract要約: 大規模言語モデル(LLM)は、コンテキスト認識インテリジェンスに大規模なテキストコーパスを活用することで、様々な分野に革命をもたらしている。
文脈サイズのため、LLMでグラフ全体を符号化することは基本的に制限される。
本稿では,LLMとグラフデータをよりよく統合する方法を考察し,様々な符号化手法を用いた新しい手法を提案する。
- 参考スコア(独自算出の注目度): 15.569255799563782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are revolutionizing various fields by leveraging
large text corpora for context-aware intelligence. Due to the context size,
however, encoding an entire graph with LLMs is fundamentally limited. This
paper explores how to better integrate graph data with LLMs and presents a
novel approach using various encoding modalities (e.g., text, image, and motif)
and approximation of global connectivity of a graph using different prompting
methods to enhance LLMs' effectiveness in handling complex graph structures.
The study also introduces GraphTMI, a new benchmark for evaluating LLMs in
graph structure analysis, focusing on factors such as homophily, motif
presence, and graph difficulty. Key findings reveal that image modality,
supported by advanced vision-language models like GPT-4V, is more effective
than text in managing token limits while retaining critical information. The
research also examines the influence of different factors on each encoding
modality's performance. This study highlights the current limitations and
charts future directions for LLMs in graph understanding and reasoning tasks.
- Abstract(参考訳): 大規模言語モデル(LLM)は、コンテキスト認識インテリジェンスに大規模なテキストコーパスを活用することで、様々な分野に革命をもたらしている。
しかし、文脈サイズのため、LLMでグラフ全体を符号化することは基本的に制限される。
本稿では,LLM とグラフデータをよりよく統合する方法を考察し,複雑なグラフ構造を扱う上で LLM の有効性を高めるために,様々な符号化法(テキスト,画像,モチーフ)を用いてグラフのグローバル接続を近似する手法を提案する。
また、グラフ構造解析においてLLMを評価するための新しいベンチマークであるGraphTMIも導入され、ホモフィリー、モチーフ存在、グラフの難しさなどの要因に焦点を当てている。
GPT-4Vのような高度な視覚言語モデルでサポートされている画像のモダリティは、重要な情報を保持しながらトークン制限を管理する上で、テキストよりも効果的である。
また,各符号化性能に及ぼす異なる因子の影響についても検討した。
本研究は、グラフ理解および推論タスクにおけるLLMの現在の限界と今後の方向性を示す。
関連論文リスト
- Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
本手法は,テキスト応答とグラフの関連部分をハイライトする。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding
and Reasoning [54.84870836443311]
本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。
このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。
研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
論文 参考訳(メタデータ) (2023-12-16T08:14:11Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - Talk like a Graph: Encoding Graphs for Large Language Models [15.652881653332194]
大規模言語モデル(LLM)による消費用テキストとしてグラフ構造化データを符号化する最初の包括的研究について検討する。
グラフ解析におけるLCMの性能は,(1)グラフ符号化法,(2)グラフ処理自体の性質,(3)興味深いことに,考慮されたグラフの構造の3つの基本レベルによって異なることを示す。
論文 参考訳(メタデータ) (2023-10-06T19:55:21Z) - GPT4Graph: Can Large Language Models Understand Graph Structured Data ?
An Empirical Evaluation and Benchmarking [17.7473474499538]
ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。
本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。
この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
論文 参考訳(メタデータ) (2023-05-24T11:53:19Z) - Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for
Improved Vision-Language Compositionality [50.48859793121308]
対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。
近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
論文 参考訳(メタデータ) (2023-05-23T08:28:38Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。