論文の概要: Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2412.09094v1
• Date: Thu, 12 Dec 2024 09:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:43.804475
• Title: Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion
• Title（参考訳）: Filter-then-Generate:知識グラフ補完のための構造テキストアダプタを用いた大規模言語モデル
• Authors: Ben Liu, Jihai Zhang, Fangquan Lin, Cheng Yang, Min Peng,
• Abstract要約: 大規模言語モデル(LLM)は、膨大な固有の知識と優れた意味理解能力を示す。 実証的な証拠は、LLMは従来の知識グラフ補完手法よりも一貫して性能が悪いことを示唆している。 これらの課題に対処するために,FtGという新しい命令チューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 20.973071287301067
• License:
• Abstract: Large Language Models (LLMs) present massive inherent knowledge and superior semantic comprehension capability, which have revolutionized various tasks in natural language processing. Despite their success, a critical gap remains in enabling LLMs to perform knowledge graph completion (KGC). Empirical evidence suggests that LLMs consistently perform worse than conventional KGC approaches, even through sophisticated prompt design or tailored instruction-tuning. Fundamentally, applying LLMs on KGC introduces several critical challenges, including a vast set of entity candidates, hallucination issue of LLMs, and under-exploitation of the graph structure. To address these challenges, we propose a novel instruction-tuning-based method, namely FtG. Specifically, we present a \textit{filter-then-generate} paradigm and formulate the KGC task into a multiple-choice question format. In this way, we can harness the capability of LLMs while mitigating the issue casused by hallucinations. Moreover, we devise a flexible ego-graph serialization prompt and employ a structure-text adapter to couple structure and text information in a contextualized manner. Experimental results demonstrate that FtG achieves substantial performance gain compared to existing state-of-the-art methods. The instruction dataset and code are available at \url{https://github.com/LB0828/FtG}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理における様々なタスクに革命をもたらした、膨大な固有の知識と優れた意味理解能力を示す。 彼らの成功にもかかわらず、LLMが知識グラフ補完(KGC)を実行できるようにするには、重大なギャップが残っている。 実証的な証拠は、LLMが従来のKGCアプローチよりも、洗練されたプロンプト設計や調整されたインストラクションチューニングによっても、一貫して性能が悪くなることを示唆している。 基本的に、LCMをKGCに適用することは、膨大なエンティティ候補、LCMの幻覚問題、グラフ構造の過小評価など、いくつかの重要な課題をもたらす。 これらの課題に対処するために,FtGという新しい命令チューニング手法を提案する。 具体的には、textit{filter-then-generate}パラダイムを示し、KGCタスクを複数の質問形式に定式化する。 このようにして、幻覚による問題を緩和しながらLLMの能力を利用することができる。 さらに、フレキシブルなエゴグラフシリアライズプロンプトを考案し、構造化情報とテキスト情報を文脈的に結合する構造テキストアダプタを用いる。 実験結果から,FtGは既存の最先端手法と比較してかなりの性能向上を達成できた。 命令データセットとコードは \url{https://github.com/LB0828/FtG} で公開されている。

関連論文リスト

• Are Large Language Models In-Context Graph Learners? [31.172657860606297]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著なコンテキスト内推論機能を持つ。 しかし、非ユークリッド構造に対する理解の欠如のため、グラフのような構造化データを扱うのに苦労している。 グラフデータの学習は、検索強化生成(RAG)プロセスとして概念化できることを示す。 グラフ学習タスクにおけるLLMの文脈内学習能力を高めるための一連のRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:14:19Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• SocialGPT: Prompting LLMs for Social Relation Reasoning via Greedy Segment Optimization [70.11167263638562]
  社会的関係推論は、友人、配偶者、同僚などの関係カテゴリを画像から識別することを目的としている。 まず、VFM(Vision Foundation Models)の知覚能力と、モジュラーフレームワーク内でのLLM(Large Language Models)の推論能力を組み合わせた、シンプルだが巧妙な名前のフレームワークを提示する。
  論文  参考訳（メタデータ） (2024-10-28T18:10:26Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Can LLMs perform structured graph reasoning? [4.676784872259775]
  LLM(Pretrained Large Language Models)は、言語ベースのプロンプトだけで様々な推論能力を示す。 本稿では,半構造化タスクのプロキシとして,様々なグラフ推論タスクを設計する。 上記の課題に対して,5種類のインストラクト微細化LDM (GPT-4, GPT-3.5, Claude-2, Llama-2, Palm-2) をベンチマークした。
  論文  参考訳（メタデータ） (2024-02-02T09:45:33Z)
• Can LLMs Effectively Leverage Graph Structural Information through Prompts, and Why? [18.328637750057037]
  大きな言語モデル(LLM)は、リッチテキスト属性でグラフを処理する能力に注目が集まっている。 グラフデータに固有の構造情報の取り込みにより,LLMの予測性能が向上する理由を理解することを目的としている。
  論文  参考訳（メタデータ） (2023-09-28T16:58:37Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。