論文の概要: SPINACH: SPARQL-Based Information Navigation for Challenging Real-World Questions

• arxiv url: http://arxiv.org/abs/2407.11417v2
• Date: Mon, 21 Oct 2024 06:17:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 21:10:26.219895
• Title: SPINACH: SPARQL-Based Information Navigation for Challenging Real-World Questions
• Title（参考訳）: SPINACH: SPARQLによるリアルタイム質問のマッチングのための情報ナビゲーション
• Authors: Shicheng Liu, Sina J. Semnani, Harold Triedman, Jialiang Xu, Isaac Dan Zhao, Monica S. Lam,
• Abstract要約: 本稿では,Wikidata の "Request a Query" フォーラムでの議論から収集した KBQA データセットである SPINACH データセットを紹介する。 これらの内部クエリの複雑さはKBQAシステムと呼ばれるもので、大きく、しばしば不完全なスキーマを動的に探索し、それらについて推論することができる。 また、人間の専門家が難解な問題に対処するためにどのようにSPARQLを書くかを模倣する、SPINACHとも呼ばれる、コンテキスト内学習KBQAエージェントも導入しています。
• 参考スコア（独自算出の注目度）: 6.933892616704001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have led to significant improvements in the Knowledge Base Question Answering (KBQA) task. However, datasets used in KBQA studies do not capture the true complexity of KBQA tasks. They either have simple questions, use synthetically generated logical forms, or are based on small knowledge base (KB) schemas. We introduce the SPINACH dataset, an expert-annotated KBQA dataset collected from discussions on Wikidata's "Request a Query" forum with 320 decontextualized question-SPARQL pairs. The complexity of these in-the-wild queries calls for a KBQA system that can dynamically explore large and often incomplete schemas and reason about them, as it is infeasible to create a comprehensive training dataset. We also introduce an in-context learning KBQA agent, also called SPINACH, that mimics how a human expert would write SPARQLs to handle challenging questions. SPINACH achieves a new state of the art on the QALD-7, QALD-9 Plus and QALD-10 datasets by 31.0%, 27.0%, and 10.0% in $F_1$, respectively, and coming within 1.6% of the fine-tuned LLaMA SOTA model on WikiWebQuestions. On our new SPINACH dataset, the SPINACH agent outperforms all baselines, including the best GPT-4-based KBQA agent, by at least 38.1% in $F_1$.
• Abstract（参考訳）: 大きな言語モデル(LLM)は知識ベース質問回答(KBQA)タスクを大幅に改善した。 しかし、KBQA研究で使用されるデータセットは、KBQAタスクの真の複雑さを捉えていない。 単純な質問や、合成的に生成された論理形式、あるいは小さな知識ベース(KB)スキーマに基づいている。 本稿では,Wikidata の "Request a Query" フォーラムでの議論から収集した KBQA データセットである SPINACH データセットについて紹介する。 これらの内部クエリの複雑さはKBQAシステムと呼ばれるもので、大規模で多くの場合不完全なスキーマを動的に探索し、それらについて推論することができるため、包括的なトレーニングデータセットを作成することは不可能である。 また、人間の専門家が難解な問題に対処するためにどのようにSPARQLを書くかを模倣する、SPINACHとも呼ばれる、コンテキスト内学習KBQAエージェントも導入しています。 SPINACHは、QALD-7、QALD-9 Plus、QALD-10データセットのそれぞれ31.0%、27.0%、および10.0%の$F_1$を達成し、WikiWebQuestions上で微調整されたLLaMA SOTAモデルの1.6%以内となる。 我々の新しいSPINACHデータセットでは、SPINACHエージェントは、最高のGPT-4ベースのKBQAエージェントを含む全てのベースラインを少なくとも38.1%上回る。

関連論文リスト

• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• Few-shot Transfer Learning for Knowledge Base Question Answering: Fusing Supervised Models with In-Context Learning [20.80841972133938]
  既存の知識ベース質問回答(KBQA)アーキテクチャは、注釈付きデータに飢えている。 KBQAでは,対象ドメインがラベル付きサンプルを少数提供している。 本稿では,複数のソース学習型検索器を用いてKB検索を行う新しいKBQAアーキテクチャFuSIC-KBQAを提案する。
  論文  参考訳（メタデータ） (2023-11-15T11:56:56Z)
• Spider4SPARQL: A Complex Benchmark for Evaluating Knowledge Graph Question Answering Systems [1.4732811715354452]
  知識グラフ質問回答システムを評価するために、現実的なベンチマークを提供することがますます重要になっている。 Spider4SPARQLは、9,693の既存のNL質問と4,721のユニークな、新しい、複雑なSPARQLクエリを備えた、新しいSPARQLベンチマークデータセットである。 現状のKGQAシステムとLLMを用いてシステム評価を行い,実行精度は45%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-09-28T08:41:08Z)
• FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base Question Answering [16.88132219032486]
  手動のアノテーションに関連する負担を軽減するためにFlexKBQAを導入します。 我々はLarge Language Models (LLM) を,KBQAタスクに固有の課題に対処するためのプログラムトランスレータとして活用する。 具体的には、FlexKBQAは自動化アルゴリズムを利用して、知識ベースからSPARQLクエリなどの多様なプログラムをサンプリングする。 より難易度の高いゼロショットシナリオでさえも、FlexKBQAは、いくつかのアノテーションで印象的な結果を得ることができます。
  論文  参考訳（メタデータ） (2023-08-23T11:00:36Z)
• Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
  知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-26T05:52:52Z)
• AutoQGS: Auto-Prompt for Low-Resource Knowledge-based Question Generation from SPARQL [18.019353543946913]
  本研究では,知識に基づく質問生成(KBQG)の課題について検討する。 従来のKBQGは知識グラフのファクトトリプルから質問を生成するが、これはSPARQLの集約や比較のような複雑な操作を表現できない。 本研究では,SPARQLをNL記述に書き換えるために,大規模教師なしデータに基づいて訓練された自動プロンプタを提案する。
  論文  参考訳（メタデータ） (2022-08-26T06:53:46Z)
• A Chinese Multi-type Complex Questions Answering Dataset over Wikidata [45.31495982252219]
  複雑な知識ベース質問回答は、過去10年間に人気のある研究分野である。 最近の公開データセットはこの分野で結果を奨励しているが、ほとんど英語に限られている。 最先端のKBQAモデルは、最も人気のある現実世界の知識基盤の1つであるWikidataで訓練されている。 CLC-QuADは,これらの課題に対処するために,ウィキデータ上での最初の大規模複雑な中国語意味解析データセットである。
  論文  参考訳（メタデータ） (2021-11-11T07:39:16Z)
• SYGMA: System for Generalizable Modular Question Answering OverKnowledge Bases [57.89642289610301]
  SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。 本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
  論文  参考訳（メタデータ） (2021-09-28T01:57:56Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)
• A Survey on Complex Question Answering over Knowledge Base: Recent Advances and Challenges [71.4531144086568]
  知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。 研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
  論文  参考訳（メタデータ） (2020-07-26T07:13:32Z)
• KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base [67.87878113432723]
  複雑KBQAのためのデータセットであるKQA Proを紹介する。 各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
  論文  参考訳（メタデータ） (2020-07-08T03:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。