論文の概要: AmbiGraph-Eval: Can LLMs Effectively Handle Ambiguous Graph Queries?

• arxiv url: http://arxiv.org/abs/2508.09631v1
• Date: Wed, 13 Aug 2025 09:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.828006
• Title: AmbiGraph-Eval: Can LLMs Effectively Handle Ambiguous Graph Queries?
• Title（参考訳）: AmbiGraph-Eval: LLMは曖昧なグラフクエリを効果的に扱えるか?
• Authors: Yuchen Tian, Kaixin Li, Hao Chen, Ziyang Luo, Hongzhan Lin, Sebastian Schelter, Lun Du, Jing Ma,
• Abstract要約: AmbiGraph-Evalは、専門家が検証したグラフクエリの回答と組み合わせた、現実世界のあいまいなクエリの新しいベンチマークである。 本研究は, 曖昧性処理における重要なギャップを明らかにし, 特殊解像度技術における今後の課題を動機づけるものである。
• 参考スコア（独自算出の注目度）: 31.91169297907121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have recently demonstrated strong capabilities in translating natural language into database queries, especially when dealing with complex graph-structured data. However, real-world queries often contain inherent ambiguities, and the interconnected nature of graph structures can amplify these challenges, leading to unintended or incorrect query results. To systematically evaluate LLMs on this front, we propose a taxonomy of graph-query ambiguities, comprising three primary types: Attribute Ambiguity, Relationship Ambiguity, and Attribute-Relationship Ambiguity, each subdivided into Same-Entity and Cross-Entity scenarios. We introduce AmbiGraph-Eval, a novel benchmark of real-world ambiguous queries paired with expert-verified graph query answers. Evaluating 9 representative LLMs shows that even top models struggle with ambiguous graph queries. Our findings reveal a critical gap in ambiguity handling and motivate future work on specialized resolution techniques.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に複雑なグラフ構造化データを扱う場合、自然言語をデータベースクエリに翻訳する強力な能力を示した。 しかし、実世界のクエリには固有の曖昧さが伴うことが多く、グラフ構造の相互接続性はこれらの課題を増幅し、意図しないあるいは誤ったクエリ結果をもたらす。 そこで我々は,LLMを系統的に評価するために,属性曖昧性,関係曖昧性,属性関連曖昧性の3つの主要なタイプからなるグラフクエリ曖昧性の分類法を提案する。 本稿では,AmbiGraph-Evalについて紹介する。 9つの代表的なLCMを評価することは、トップモデルでさえ曖昧なグラフクエリに苦労していることを示している。 本研究は, 曖昧性処理における重要なギャップを明らかにし, 特殊解像度技術における今後の課題を動機づけるものである。

関連論文リスト

• DAGR: Decomposition Augmented Graph Retrieval with LLMs [1.034893617526558]
  DAGRは、複雑な質問と、関連するリンクされたサブグラフを抽出するサブクエストにおけるそれらの分解の両方を活用する検索手法である。 結果として得られるGraph-RAGパイプラインは、複雑なマルチホップ質問の処理と、グラフ構造化データに対する効果的な推論に適している。 DAGRを標準マルチホップQAベンチマークで評価し、競合する既存手法に匹敵する性能または優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-06-16T11:44:28Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [75.9865035064794]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• ZOGRASCOPE: A New Benchmark for Semantic Parsing over Property Graphs [3.0748861313823]
  プロパティグラフ(PG)は、複雑な構造化情報を表現する手段として採用されている。 業界での人気が高まっているにもかかわらず、PGはセマンティックパーシング研究において相対的に過小評価されている。 PGとCypherで書かれたクエリに特化して設計されたベンチマークであるZOGRASCOPEを紹介する。
  論文  参考訳（メタデータ） (2025-03-07T09:33:30Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Schema-Guided Scene-Graph Reasoning based on Multi-Agent Large Language Model System [5.37125692728042]
  マルチエージェント大規模言語モデル(LLM)に基づく反復ガイド付シーングラフ推論フレームワークを提案する。 2つのモジュールが反復的に協調し、シーケンシャルな推論とグラフ情報への適応的な注意を可能にする。 我々のフレームワークは,従来のLCMベースのアプローチや,ベースラインの単一エージェント,ツールベースのReason-while-Retrieve戦略を超越した数値Q&Aと計画タスクを実現している。
  論文  参考訳（メタデータ） (2025-02-05T18:50:38Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question Answering over a Life Science Knowledge Graph [0.0]
  生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。 本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。 また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
  論文  参考訳（メタデータ） (2024-02-07T07:24:01Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。