論文の概要: AmbiGraph-Eval: Can LLMs Effectively Handle Ambiguous Graph Queries?

• arxiv url: http://arxiv.org/abs/2508.09631v1
• Date: Wed, 13 Aug 2025 09:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.828006
• Title: AmbiGraph-Eval: Can LLMs Effectively Handle Ambiguous Graph Queries?
• Title（参考訳）: AmbiGraph-Eval: LLMは曖昧なグラフクエリを効果的に扱えるか?
• Authors: Yuchen Tian, Kaixin Li, Hao Chen, Ziyang Luo, Hongzhan Lin, Sebastian Schelter, Lun Du, Jing Ma,
• Abstract要約: AmbiGraph-Evalは、専門家が検証したグラフクエリの回答と組み合わせた、現実世界のあいまいなクエリの新しいベンチマークである。 本研究は, 曖昧性処理における重要なギャップを明らかにし, 特殊解像度技術における今後の課題を動機づけるものである。
• 参考スコア（独自算出の注目度）: 31.91169297907121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have recently demonstrated strong capabilities in translating natural language into database queries, especially when dealing with complex graph-structured data. However, real-world queries often contain inherent ambiguities, and the interconnected nature of graph structures can amplify these challenges, leading to unintended or incorrect query results. To systematically evaluate LLMs on this front, we propose a taxonomy of graph-query ambiguities, comprising three primary types: Attribute Ambiguity, Relationship Ambiguity, and Attribute-Relationship Ambiguity, each subdivided into Same-Entity and Cross-Entity scenarios. We introduce AmbiGraph-Eval, a novel benchmark of real-world ambiguous queries paired with expert-verified graph query answers. Evaluating 9 representative LLMs shows that even top models struggle with ambiguous graph queries. Our findings reveal a critical gap in ambiguity handling and motivate future work on specialized resolution techniques.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に複雑なグラフ構造化データを扱う場合、自然言語をデータベースクエリに翻訳する強力な能力を示した。 しかし、実世界のクエリには固有の曖昧さが伴うことが多く、グラフ構造の相互接続性はこれらの課題を増幅し、意図しないあるいは誤ったクエリ結果をもたらす。 そこで我々は,LLMを系統的に評価するために,属性曖昧性,関係曖昧性,属性関連曖昧性の3つの主要なタイプからなるグラフクエリ曖昧性の分類法を提案する。 本稿では,AmbiGraph-Evalについて紹介する。 9つの代表的なLCMを評価することは、トップモデルでさえ曖昧なグラフクエリに苦労していることを示している。 本研究は, 曖昧性処理における重要なギャップを明らかにし, 特殊解像度技術における今後の課題を動機づけるものである。

関連論文リスト

• GraphSeek: Next-Generation Graph Analytics with LLMs [15.668202711555749]
  LLMは、アクセス可能な自然言語(NL)グラフ解析を約束するが、業界規模のプロパティグラフを効率的かつ効率的に処理することができない。 このようなグラフ上での複雑なマルチクエリ解析のための新しい抽象化を考案する。 この抽象化は、GraphSeekと呼ばれる最初のLLM拡張グラフ分析フレームワークの基礎として使用しています。
  論文  参考訳（メタデータ） (2026-02-11T17:20:06Z)
• Colorful Talks with Graphs: Human-Interpretable Graph Encodings for Large Language Models [12.496005049442319]
  グラフ問題は大きな言語モデル(LLM)にとって根本的な課題である グラフからテキストへの変換のための人間の解釈可能な構造的符号化戦略を導入する。 提案手法は,大域的なグラフ構造上の推論を必要とするグラフタスクにおいて,LLMの性能を向上させる。
  論文  参考訳（メタデータ） (2026-02-11T00:15:29Z)
• Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
  大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。 既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。 我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-25T06:48:52Z)
• DAGR: Decomposition Augmented Graph Retrieval with LLMs [1.034893617526558]
  DAGRは、複雑な質問と、関連するリンクされたサブグラフを抽出するサブクエストにおけるそれらの分解の両方を活用する検索手法である。 結果として得られるGraph-RAGパイプラインは、複雑なマルチホップ質問の処理と、グラフ構造化データに対する効果的な推論に適している。 DAGRを標準マルチホップQAベンチマークで評価し、競合する既存手法に匹敵する性能または優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-06-16T11:44:28Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [75.9865035064794]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• ZOGRASCOPE: A New Benchmark for Semantic Parsing over Property Graphs [3.0748861313823]
  プロパティグラフ(PG)は、複雑な構造化情報を表現する手段として採用されている。 業界での人気が高まっているにもかかわらず、PGはセマンティックパーシング研究において相対的に過小評価されている。 PGとCypherで書かれたクエリに特化して設計されたベンチマークであるZOGRASCOPEを紹介する。
  論文  参考訳（メタデータ） (2025-03-07T09:33:30Z)
• Chart-HQA: A Benchmark for Hypothetical Question Answering in Charts [62.45232157149698]
  本稿では,同じ質問に対して仮定を課し,グラフの内容に基づいた反実的推論を行うようモデルに強制する,新しいChart hypothetical Question Answering (HQA)タスクを提案する。 さらに,MLLMの効率的なテキスト編集機能と人間の知識を併用して,多種多様な高品質HQAデータを低コストで生成する,人間とAIの対話型データ合成手法であるHAIを導入する。
  論文  参考訳（メタデータ） (2025-03-06T05:08:40Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Schema-Guided Scene-Graph Reasoning based on Multi-Agent Large Language Model System [5.37125692728042]
  マルチエージェント大規模言語モデル(LLM)に基づく反復ガイド付シーングラフ推論フレームワークを提案する。 2つのモジュールが反復的に協調し、シーケンシャルな推論とグラフ情報への適応的な注意を可能にする。 我々のフレームワークは,従来のLCMベースのアプローチや,ベースラインの単一エージェント,ツールベースのReason-while-Retrieve戦略を超越した数値Q&Aと計画タスクを実現している。
  論文  参考訳（メタデータ） (2025-02-05T18:50:38Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [70.03602551880526]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question Answering over a Life Science Knowledge Graph [0.0]
  生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。 本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。 また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
  論文  参考訳（メタデータ） (2024-02-07T07:24:01Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。