論文の概要: HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge Graph Question Answering on Household Daily Activities

• arxiv url: http://arxiv.org/abs/2605.09348v1
• Date: Sun, 10 May 2026 06:00:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.205034
• Title: HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge Graph Question Answering on Household Daily Activities
• Title（参考訳）: HOME-KGQA: 家庭の日常活動に対するマルチモーダル知識グラフ質問のベンチマークデータセット
• Authors: Shusaku Egami, Aoi Ohta, Tomoki Tsujimura, Masaki Asada, Tatsuya Ishigaki, Ken Fukuda, Masahiro Hamasaki, Hiroya Takamura,
• Abstract要約: HOME-KGQAは,日常生活活動のマルチモーダルKG上に構築された新しいKGQAベンチマークである。 Home-KGQAは、グラフデータベースクエリ言語と組み合わせた複雑なマルチホップ自然言語の質問で構成されている。 その結果,LLMベースのKGQA手法は既存のデータセットと同等の性能を達成できないことがわかった。
• 参考スコア（独自算出の注目度）: 11.096574335599092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) provide flexible natural language processing capabilities, while knowledge graphs (KGs) offer explicit and structured knowledge. Integrating these two in a complementary manner enables the development of reliable and verifiable AI systems. In particular, knowledge graph question answering (KGQA) has attracted attention as a means to reduce LLM hallucinations and to leverage knowledge beyond the training data. However, existing KGQA benchmark datasets are biased toward encyclopedic knowledge, limited to a single modality, and lack fine-grained spatiotemporal data, which limits their applicability to real-world scenarios targeted by Embodied AI. We introduce HOME-KGQA, a novel KGQA benchmark dataset built on a multimodal KG of daily household activities. HOME-KGQA consists of complex, multi-hop natural language questions paired with graph database query languages. Compared to existing benchmarks, it includes more challenging questions that involve multi-level spatiotemporal reasoning, multimodal grounding, and aggregate functions. Experimental results show that the LLM-based KGQA methods fail to achieve performance comparable to that on existing datasets when evaluated on HOME-KGQA. This highlights significant challenges that should be addressed for the real-world deployment of KGQA systems. Our dataset is available at https://github.com/aistairc/home-kgqa
• Abstract（参考訳）: 大きな言語モデル(LLM)は柔軟な自然言語処理能力を提供し、知識グラフ(KG)は明示的で構造化された知識を提供する。 これら2つを補完的に統合することで、信頼性と検証可能なAIシステムの開発が可能になる。 特に知識グラフ質問応答(KGQA)は,LLM幻覚を減らし,学習データを超えた知識を活用する手段として注目されている。 しかしながら、既存のKGQAベンチマークデータセットは、百科事典的な知識に偏り、単一のモダリティに制限され、詳細な時空間データがないため、Embodied AIがターゲットとする現実のシナリオへの適用性が制限されている。 HOME-KGQAは、日常的な活動のマルチモーダルなKGに基づいて構築された、新しいKGQAベンチマークデータセットである。 HOME-KGQAは、グラフデータベースクエリ言語と組み合わせた複雑なマルチホップ自然言語の質問からなる。 既存のベンチマークと比較すると、マルチレベル時空間推論、マルチモーダルグラウンド、集約関数を含む、より難しい問題が含まれている。 実験の結果,HOME-KGQAで評価すると,LLMベースのKGQA手法は既存のデータセットと同等の性能を達成できないことがわかった。 これは、KGQAシステムの現実的な展開に対処すべき重要な課題を浮き彫りにする。 私たちのデータセットはhttps://github.com/aistairc/home-kgqaで利用可能です。

関連論文リスト

• A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering [41.99844472131922]
  大きな言語モデルは言語理解において優れているが、知識集約的なドメインでは限られている。 この研究は、LLMがCypherグラフクエリを生成して説明するインタラクティブなフレームワークを導入している。
  論文  参考訳（メタデータ） (2026-02-05T10:10:19Z)
• The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
  大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。 クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。 WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-16T06:41:03Z)
• Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
  知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。 広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。 我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。 本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
  論文  参考訳（メタデータ） (2025-05-29T14:44:52Z)
• Beyond Completion: A Foundation Model for General Knowledge Graph Reasoning [42.93788746991493]
  MERRYは一般知識グラフ推論の基礎モデルである。 テキストと構造的モダリティのギャップを埋めるためのアーキテクチャを符号化する条件付きメッセージパッシング(CMP)を提案する。 28のデータセットに対する総合的な評価は、ほとんどのシナリオでMERRYが既存のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-28T03:21:28Z)
• Question-Aware Knowledge Graph Prompting for Enhancing Large Language Models [51.47994645529258]
  本稿では,問合せをGNNアグリゲーションに組み込んでKG関連性を動的に評価するQAP(QA-Aware Knowledge Graph Prompting)を提案する。 実験の結果、QAPは複数のデータセットで最先端の手法よりも優れており、その有効性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T17:09:11Z)
• ConvKGYarn: Spinning Configurable and Scalable Conversational Knowledge Graph QA datasets with Large Language Models [47.27645876623092]
  本稿では、最新のKGQAデータセットを生成するスケーラブルな方法であるConvKGYarnを提案する。 同じKGファクトセットに異なる構成を持つ会話型KGQA集合のモデル挙動を探索する。
  論文  参考訳（メタデータ） (2024-08-12T06:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。