論文の概要: Evaluating and Improving Graph to Text Generation with Large Language Models

• arxiv url: http://arxiv.org/abs/2501.14497v2
• Date: Fri, 14 Feb 2025 12:38:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:05:23.087187
• Title: Evaluating and Improving Graph to Text Generation with Large Language Models
• Title（参考訳）: 大規模言語モデルによるテキスト生成におけるグラフの評価と改善
• Authors: Jie He, Yijun Yang, Wanqiu Long, Deyi Xiong, Victor Gutierrez-Basulto, Jeff Z. Pan,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにおいて大きな可能性を証明している。 我々は、グラフからテキストへの生成タスクにおいて、現在のオープンソース LLM を誘導する包括的な評価を行う。 我々は、新しいグラフからテキストへのデータセット、PlanGTGを導入し、2つのサブタスク、すなわちリオーダーと属性を注釈付けした。
• 参考スコア（独自算出の注目度）: 46.529034150391595
• License:
• Abstract: Large language models (LLMs) have demonstrated immense potential across various tasks. However, research for exploring and improving the capabilities of LLMs in interpreting graph structures remains limited. To address this gap, we conduct a comprehensive evaluation of prompting current open-source LLMs on graph-to-text generation tasks. Although we explored the optimal prompting strategies and proposed a novel and effective diversity-difficulty-based few-shot sample selection method, we found that the improvements from tuning-free approaches were incremental, as LLMs struggle with planning on complex graphs, particularly those with a larger number of triplets. To further improve LLMs in planning with graph sequences and grounding in truth, we introduce a new graph-to-text dataset, PlanGTG, annotated with two sub-tasks: reordering and attribution. Through extensive automatic and human evaluations, we demonstrate significant improvements in the quality of generated text from both few-shot learning and fine-tuning perspectives using the PlanGTG dataset. Our study paves the way for new research directions in graph-to-text generation. PlanGTG datasets can be found in https://github.com/probe2/kg_text.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにおいて大きな可能性を証明している。 しかし, グラフ構造解析におけるLLMの探索と改良に関する研究は依然として限られている。 このギャップに対処するため、我々は、グラフからテキストへの生成タスクにおいて、現在のオープンソース LLM を誘導する包括的な評価を行う。 最適なプロンプト戦略を探求し, 多様性に富む新規かつ効果的なサンプル選択法を提案したが, LLM が複雑なグラフ, 特に多くの三点グラフの計画に苦慮しているため, チューニング不要アプローチによる改善は漸進的であった。 グラフシーケンスと真実のグラウンド化によるLCMのさらなる改善を目的として,2つのサブタスクを付加した新しいグラフからテキストへのデータセットであるPlanGTGを導入する。 大規模な自動評価と人的評価により、PlanGTGデータセットを用いて、少数ショット学習と微調整の両方の観点から生成されたテキストの品質が大幅に向上したことを示す。 本研究は,グラフ・テキスト・ジェネレーションにおける新たな研究方向の道を開くものである。 PlanGTGデータセットはhttps://github.com/probe2/kg_textで見ることができる。

関連論文リスト

• Unleashing the Power of LLMs as Multi-Modal Encoders for Text and Graph-Structured Data [42.18348019901044]
  グラフ構造化情報は、言語モデルを強化するためのリッチなコンテキスト情報を提供する。 グラフとテキストの埋め込みを統合する既存の方法は、これらのモダリティの不均一性を完全に活用する能力に制限されている。 我々は,大規模言語モデル(LLM)を利用してテキストとグラフデータを共同符号化するフレームワークであるJanusを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:40:20Z)
• Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
  本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。 AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。 3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:19:12Z)
• GRAG: Graph Retrieval-Augmented Generation [14.98084919101233]
  Graph Retrieval-Augmented Generation (GRAG)は、テキストサブグラフを取得する際の根本的な課題に取り組む。 本稿では,線形時間で最適な部分グラフ構造を検索する新たな分割・対数戦略を提案する。 提案手法は現状のRAG法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-26T10:11:40Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs [5.587264586806575]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 LLMはラベルから意味情報を抽出し、模範としてカテゴリに属するサンプルを生成する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
  Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。 本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。 我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。