論文の概要: Language is All a Graph Needs

• arxiv url: http://arxiv.org/abs/2308.07134v5
• Date: Tue, 6 Feb 2024 03:08:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 11:34:26.526284
• Title: Language is All a Graph Needs
• Title（参考訳）: 言語はグラフを必要とするもの
• Authors: Ruosong Ye, Caiqi Zhang, Runhui Wang, Shuyuan Xu, Yongfeng Zhang
• Abstract要約: InstructGLM (Instruction-finetuned Graph Language Model) を提案する。 我々の手法は、ogbn-arxiv, Cora, PubMedデータセット上のすべてのGNNベースラインを超える。
• 参考スコア（独自算出の注目度）: 33.9836278881785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of large-scale pre-trained language models has revolutionized various AI research domains. Transformers-based Large Language Models (LLMs) have gradually replaced CNNs and RNNs to unify fields of computer vision and natural language processing. Compared with independent data samples such as images, videos or texts, graphs usually contain rich structural and relational information. Meanwhile, language, especially natural language, being one of the most expressive mediums, excels in describing complex structures. However, existing work on incorporating graph problems into the generative language modeling framework remains very limited. Considering the rising prominence of LLMs, it becomes essential to explore whether LLMs can also replace GNNs as the foundation model for graphs. In this paper, we propose InstructGLM (Instruction-finetuned Graph Language Model) with highly scalable prompts based on natural language instructions. We use natural language to describe multi-scale geometric structure of the graph and then instruction finetune an LLM to perform graph tasks, which enables Generative Graph Learning. Our method surpasses all GNN baselines on ogbn-arxiv, Cora and PubMed datasets, underscoring its effectiveness and sheds light on generative LLMs as new foundation model for graph machine learning. Our code is open-sourced at https://github.com/agiresearch/InstructGLM.
• Abstract（参考訳）: 大規模な事前訓練型言語モデルの出現は、さまざまなAI研究領域に革命をもたらした。 トランスフォーマーベースのLarge Language Models (LLM) は、コンピュータビジョンと自然言語処理の分野を統合するために、CNNとRNNを徐々に置き換えている。 画像、ビデオ、テキストなどの独立したデータサンプルと比較すると、グラフは通常、豊富な構造的および関係的な情報を含んでいる。 一方、言語、特に自然言語は最も表現力のある媒体の1つであり、複雑な構造を記述するのに優れている。 しかし、グラフ問題を生成言語モデリングフレームワークに組み込む作業は依然として非常に限られている。 LLMの隆盛を考えると、LLMがグラフの基礎モデルとしてGNNを置き換えることができるかどうかを検討することが不可欠である。 本稿では,自然言語命令に基づく高度にスケーラブルなプロンプトを用いたinstructglm(instruction-finetuned graph language model)を提案する。 自然言語を用いてグラフのマルチスケールな幾何学構造を記述し、LLMを微調整してグラフタスクを実行することで、生成グラフ学習を実現する。 提案手法は, ogbn-arxiv, Cora, PubMedデータセットに基づくGNNベースラインを網羅し, グラフ機械学習の新たな基盤モデルとして, 生成LDMに光を当てる。 私たちのコードはhttps://github.com/agiresearch/instructglm.comでオープンソースです。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Dr.E Bridges Graphs with Large Language Models through Words [12.22063024099311]
  本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling [10.907949155931474]
  本稿では,グラフ構造モデリングと自然言語理解をトークンレベルで整合させるLangTopoを紹介する。 複数のデータセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-19T06:20:22Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Graph Language Models [18.75364157933661]
  両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。 我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。 関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-13T16:09:49Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。