論文の概要: KG-LLM-Bench: A Scalable Benchmark for Evaluating LLM Reasoning on Textualized Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2504.07087v1
• Date: Wed, 09 Apr 2025 17:58:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 15:49:47.095519
• Title: KG-LLM-Bench: A Scalable Benchmark for Evaluating LLM Reasoning on Textualized Knowledge Graphs
• Title（参考訳）: KG-LLM-Bench: テキスト化知識グラフを用いたLLM推論評価のためのスケーラブルベンチマーク
• Authors: Elan Markowitz, Krupa Galiya, Greg Ver Steeg, Aram Galstyan,
• Abstract要約: 我々は5つの知識グラフ理解タスクにまたがるベンチマークであるKG-LLM-Benchを紹介する。 異なる符号化戦略が様々なベースモデルのパフォーマンスにどのように影響するかを評価する。
• 参考スコア（独自算出の注目度）: 40.0261099327788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs have emerged as a popular method for injecting up-to-date, factual knowledge into large language models (LLMs). This is typically achieved by converting the knowledge graph into text that the LLM can process in context. While multiple methods of encoding knowledge graphs have been proposed, the impact of this textualization process on LLM performance remains under-explored. We introduce KG-LLM-Bench, a comprehensive and extensible benchmark spanning five knowledge graph understanding tasks, and evaluate how different encoding strategies affect performance across various base models. Our extensive experiments with seven language models and five textualization strategies provide insights for optimizing LLM performance on KG reasoning tasks.
• Abstract（参考訳）: 知識グラフは、最新の事実知識を大規模言語モデル(LLM)に注入する一般的な方法として登場した。 これは典型的には、知識グラフをLLMがコンテキストで処理できるテキストに変換することで達成される。 知識グラフを符号化する複数の手法が提案されているが、この文書化プロセスがLLMの性能に与える影響は未解明のままである。 我々は、5つの知識グラフ理解タスクにまたがる包括的で拡張可能なベンチマークであるKG-LLM-Benchを紹介し、様々なベースモデルにおける異なる符号化戦略がパフォーマンスに与える影響を評価する。 7つの言語モデルと5つのテキスト化戦略による広範な実験により、KG推論タスクにおけるLLM性能の最適化に関する洞察が得られる。

関連論文リスト

• GraphICL: Unlocking Graph Learning Potential in LLMs through Structured Prompt Design [13.365623514253926]
  Graph In-Context Learning (GraphICL)ベンチマークは、グラフ構造をキャプチャし、限られたラベル知識を扱う新しいプロンプトテンプレートからなる包括的なベンチマークである。 システム評価の結果,GraphICLを用いた汎用LLMは,最先端の特殊グラフLLMやグラフニューラルネットワークモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-27T03:50:30Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Evaluating and Enhancing Large Language Models for Conversational Reasoning on Knowledge Graphs [4.092862870428798]
  我々は知識グラフ(KG)を用いた現在最先端の大規模言語モデル(GPT-4)の会話推論能力を評価する。 我々は,KG経路の正確かつ適応的な予測を行うために設計された基底KG推論エージェントであるLLM-ARKを紹介する。 LLaMA-2-7B-ARKは、現在の最先端モデルよりも5.28ポイント優れており、ターゲット@1評価基準では36.39%である。
  論文  参考訳（メタデータ） (2023-12-18T15:23:06Z)
• Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
  本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。 また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
  論文  参考訳（メタデータ） (2023-11-16T12:45:41Z)
• Beyond Text: A Deep Dive into Large Language Models' Ability on Understanding Graph Data [13.524529952170672]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて顕著な性能を達成している。 LLMがグラフデータを効果的に処理し、トポロジ構造を利用して性能を向上させることができるかどうかを評価することを目的とする。 LLMの性能を特殊グラフモデルと比較することにより、グラフ解析にLLMを使用する際の長所と短所について考察する。
  論文  参考訳（メタデータ） (2023-10-07T23:25:22Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。