論文の概要: SPINACH: SPARQL-Based Information Navigation for Challenging Real-World Questions

• arxiv url: http://arxiv.org/abs/2407.11417v1
• Date: Tue, 16 Jul 2024 06:18:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 16:22:29.810086
• Title: SPINACH: SPARQL-Based Information Navigation for Challenging Real-World Questions
• Title（参考訳）: SPINACH: SPARQLによるリアルタイム質問のマッチングのための情報ナビゲーション
• Authors: Shicheng Liu, Sina J. Semnani, Harold Triedman, Jialiang Xu, Isaac Dan Zhao, Monica S. Lam,
• Abstract要約: 本稿では,Wikidata の "Request a Query" フォーラムからの KBQA データセットである SPINACH データセットを紹介する。 データセットに加えて、このような難しい問題に対して、人間の専門家がどのようにSPARQLを書くかを模した、KBQAアプローチであるSPINACHエージェントも導入しています。 我々の新しいSPINACHデータセットでは、SPINACHエージェントは、最高のGPT-4ベースのKBQAエージェントを含む全てのベースラインを38.1%上回る。
• 参考スコア（独自算出の注目度）: 6.933892616704001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work integrating Large Language Models (LLMs) has led to significant improvements in the Knowledge Base Question Answering (KBQA) task. However, we posit that existing KBQA datasets that either have simple questions, use synthetically generated logical forms, or are based on small knowledge base (KB) schemas, do not capture the true complexity of KBQA tasks. To address this, we introduce the SPINACH dataset, an expert-annotated KBQA dataset collected from forum discussions on Wikidata's "Request a Query" forum with 320 decontextualized question-SPARQL pairs. Much more complex than existing datasets, SPINACH calls for strong KBQA systems that do not rely on training data to learn the KB schema, but can dynamically explore large and often incomplete schemas and reason about them. Along with the dataset, we introduce the SPINACH agent, a new KBQA approach that mimics how a human expert would write SPARQLs for such challenging questions. Experiments on existing datasets show SPINACH's capability in KBQA, achieving a new state of the art on the QALD-7, QALD-9 Plus and QALD-10 datasets by 30.1%, 27.0%, and 10.0% in F1, respectively, and coming within 1.6% of the fine-tuned LLaMA SOTA model on WikiWebQuestions. On our new SPINACH dataset, SPINACH agent outperforms all baselines, including the best GPT-4-based KBQA agent, by 38.1% in F1.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) の統合作業は,KBQA(Knowledge Base Question Answering)タスクの大幅な改善につながっている。 しかし,既存のKBQAデータセットは,単純な質問や合成論理形式,あるいは小さな知識ベース(KB)スキーマに基づくものであり,KBQAタスクの真の複雑さを捉えていないと仮定する。 そこで本稿では,Wikidata の "Request a Query" フォーラムでのフォーラムディスカッションから収集した KBQA データセットである SPINACH データセットを紹介する。 既存のデータセットよりもはるかに複雑で、SPINACHはKBスキーマを学ぶためにトレーニングデータに頼るのではなく、大規模で多くの場合不完全なスキーマを動的に探索し、それらについて推論できる強力なKBQAシステムを求めている。 データセットに加えて、このような難しい問題に対して、人間の専門家がどのようにSPARQLを書くかを模した、KBQAアプローチであるSPINACHエージェントも導入しています。 既存のデータセットの実験では、KBQAにおけるSPINACHの能力を示し、QALD-7、QALD-9 Plus、QALD-10データセットでそれぞれ30.1%、27.0%、F1で10.0%、WikiWebQuestionsで微調整されたLLaMA SOTAモデルの1.6%に到達した。 我々の新しいSPINACHデータセットでは、SPINACHエージェントは、最高のGPT-4ベースのKBQAエージェントを含む全てのベースラインを38.1%上回る。

関連論文リスト

• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• Few-shot Transfer Learning for Knowledge Base Question Answering: Fusing Supervised Models with In-Context Learning [20.80841972133938]
  既存の知識ベース質問回答(KBQA)アーキテクチャは、注釈付きデータに飢えている。 KBQAでは,対象ドメインがラベル付きサンプルを少数提供している。 本稿では,複数のソース学習型検索器を用いてKB検索を行う新しいKBQAアーキテクチャFuSIC-KBQAを提案する。
  論文  参考訳（メタデータ） (2023-11-15T11:56:56Z)
• Spider4SPARQL: A Complex Benchmark for Evaluating Knowledge Graph Question Answering Systems [1.4732811715354452]
  知識グラフ質問回答システムを評価するために、現実的なベンチマークを提供することがますます重要になっている。 Spider4SPARQLは、9,693の既存のNL質問と4,721のユニークな、新しい、複雑なSPARQLクエリを備えた、新しいSPARQLベンチマークデータセットである。 現状のKGQAシステムとLLMを用いてシステム評価を行い,実行精度は45%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-09-28T08:41:08Z)
• FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base Question Answering [16.88132219032486]
  手動のアノテーションに関連する負担を軽減するためにFlexKBQAを導入します。 我々はLarge Language Models (LLM) を,KBQAタスクに固有の課題に対処するためのプログラムトランスレータとして活用する。 具体的には、FlexKBQAは自動化アルゴリズムを利用して、知識ベースからSPARQLクエリなどの多様なプログラムをサンプリングする。 より難易度の高いゼロショットシナリオでさえも、FlexKBQAは、いくつかのアノテーションで印象的な結果を得ることができます。
  論文  参考訳（メタデータ） (2023-08-23T11:00:36Z)
• Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
  知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-26T05:52:52Z)
• AutoQGS: Auto-Prompt for Low-Resource Knowledge-based Question Generation from SPARQL [18.019353543946913]
  本研究では,知識に基づく質問生成(KBQG)の課題について検討する。 従来のKBQGは知識グラフのファクトトリプルから質問を生成するが、これはSPARQLの集約や比較のような複雑な操作を表現できない。 本研究では,SPARQLをNL記述に書き換えるために,大規模教師なしデータに基づいて訓練された自動プロンプタを提案する。
  論文  参考訳（メタデータ） (2022-08-26T06:53:46Z)
• A Chinese Multi-type Complex Questions Answering Dataset over Wikidata [45.31495982252219]
  複雑な知識ベース質問回答は、過去10年間に人気のある研究分野である。 最近の公開データセットはこの分野で結果を奨励しているが、ほとんど英語に限られている。 最先端のKBQAモデルは、最も人気のある現実世界の知識基盤の1つであるWikidataで訓練されている。 CLC-QuADは,これらの課題に対処するために,ウィキデータ上での最初の大規模複雑な中国語意味解析データセットである。
  論文  参考訳（メタデータ） (2021-11-11T07:39:16Z)
• SYGMA: System for Generalizable Modular Question Answering OverKnowledge Bases [57.89642289610301]
  SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。 本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
  論文  参考訳（メタデータ） (2021-09-28T01:57:56Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)
• A Survey on Complex Question Answering over Knowledge Base: Recent Advances and Challenges [71.4531144086568]
  知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。 研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
  論文  参考訳（メタデータ） (2020-07-26T07:13:32Z)
• KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base [67.87878113432723]
  複雑KBQAのためのデータセットであるKQA Proを紹介する。 各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
  論文  参考訳（メタデータ） (2020-07-08T03:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。