論文の概要: DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text

• arxiv url: http://arxiv.org/abs/2310.20170v1
• Date: Tue, 31 Oct 2023 04:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:36:02.833122
• Title: DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text
• Title（参考訳）: DIVKNOWQA:知識ベースとテキストに関するオープンドメイン質問回答によるLLMの推論能力の評価
• Authors: Wenting Zhao, Ye Liu, Tong Niu, Yao Wan, Philip S. Yu, Shafiq Joty, Yingbo Zhou, Semih Yavuz
• Abstract要約: 大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
• 参考スコア（独自算出の注目度）: 73.68051228972024
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) have exhibited impressive generation capabilities, but they suffer from hallucinations when solely relying on their internal knowledge, especially when answering questions that require less commonly known information. Retrieval-augmented LLMs have emerged as a potential solution to ground LLMs in external knowledge. Nonetheless, recent approaches have primarily emphasized retrieval from unstructured text corpora, owing to its seamless integration into prompts. When using structured data such as knowledge graphs, most methods simplify it into natural text, neglecting the underlying structures. Moreover, a significant gap in the current landscape is the absence of a realistic benchmark for evaluating the effectiveness of grounding LLMs on heterogeneous knowledge sources (e.g., knowledge base and text). To fill this gap, we have curated a comprehensive dataset that poses two unique challenges: (1) Two-hop multi-source questions that require retrieving information from both open-domain structured and unstructured knowledge sources; retrieving information from structured knowledge sources is a critical component in correctly answering the questions. (2) The generation of symbolic queries (e.g., SPARQL for Wikidata) is a key requirement, which adds another layer of challenge. Our dataset is created using a combination of automatic generation through predefined reasoning chains and human annotation. We also introduce a novel approach that leverages multiple retrieval tools, including text passage retrieval and symbolic language-assisted retrieval. Our model outperforms previous approaches by a significant margin, demonstrating its effectiveness in addressing the above-mentioned reasoning challenges.
• Abstract（参考訳）: 大言語モデル(LLM)は印象的な生成能力を示すが、内部知識のみに依存する場合、特にあまり知られていない情報を必要とする質問に答える場合、幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。 しかしながら、近年のアプローチは、プロンプトへのシームレスな統合のため、構造化されていないテキストコーパスからの検索を主に重視している。 ナレッジグラフのような構造化データを使用する場合、ほとんどのメソッドは自然テキストに単純化し、基礎となる構造を無視する。 さらに、現在のランドスケープにおける大きなギャップは、異種知識ソース(例えば、知識ベースとテキスト)にLLMを接地することの有効性を評価するための現実的なベンチマークがないことである。 このギャップを埋めるために,(1)オープンドメインと非構造化知識ソースの双方から情報を取得する必要がある2段階のマルチソース質問,2)構造化知識ソースからの情報検索は,質問に正しく答える上で重要な要素である,という2つのユニークな課題を提起した。 2) シンボリッククエリ(例えば、WikidataのSPARQL)の生成は重要な要件であり、別のレイヤの課題が追加されている。 我々のデータセットは、事前定義された推論チェーンと人間のアノテーションによる自動生成の組み合わせで作成されます。 また,テキストパス検索や記号言語支援検索など,複数の検索ツールを活用する新しい手法を提案する。 私たちのモデルは、上記の推論課題に対処する上での有効性を示しながら、これまでのアプローチをかなりのマージンで上回っています。

関連論文リスト

• Two-stage Generative Question Answering on Temporal Knowledge Graph Using Large Language Models [25.872776728873976]
  本稿ではまず,LLM に時間的質問への回答を誘導する新たな時間的知識グラフ質問応答フレームワークであるGenTKGQAを提案する。 実験結果から,本モデルは最先端のベースラインよりも優れており,単純な質問型の指標で100%達成できることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T13:47:09Z)
• InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [62.61201551494709]
  本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。 QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
  論文  参考訳（メタデータ） (2024-01-29T19:00:01Z)
• Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.368725325557961]
  本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。 我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。 われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T11:25:34Z)
• Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts for Open-Domain QA? [47.93015109262758]
  本稿では,Large Language Models (LLM) が生成および検索コンテキストをどのように統合するかを検討する。 実験では、誤った情報を提供する場合でも、生成されたコンテキストを優先する複数のLSMにおいて、重大なバイアスが示される。
  論文  参考訳（メタデータ） (2024-01-22T12:54:04Z)
• An In-Context Schema Understanding Method for Knowledge Base Question Answering [70.87993081445127]
  大きな言語モデル(LLM)は、言語理解において強力な能力を示しており、この課題を解決するために使用することができる。 既存のメソッドは、当初、スキーマ固有の詳細を使わずにLLMを使用してロジックフォームのドラフトを生成することで、この課題を回避している。 そこで本研究では,LLMが文脈内学習を利用してスキーマを直接理解できる簡易なインコンテキスト理解(ICSU)手法を提案する。
  論文  参考訳（メタデータ） (2023-10-22T04:19:17Z)
• ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [13.215465389864631]
  ChatKBQA は、細調整のオープンソース LLM 上に構築された新規な生成可能なKBQAフレームワークである。 実験結果から,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2023-10-13T09:45:14Z)
• Knowledge Crosswords: Geometric Reasoning over Structured Knowledge with Large Language Models [51.35398315130094]
  構造的知識に対する幾何学的推論を提案し、そこでは知識の一部がグラフ構造に連結され、モデルは不足した情報を埋める必要がある。 このような幾何学的知識推論は、構造化された知識、不確実性のある推論、事実の検証、エラーが発生した時のバックトラックを扱う能力を必要とする。 本稿では,不完全なエンティティネットワークの幾何学的制約を表す自然言語質問からなるマルチブランクQAデータセットであるKnowledge Crosswordsを提案する。
  論文  参考訳（メタデータ） (2023-10-02T15:43:53Z)
• Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge Memorization [41.20314472839442]
  数ショット設定でテーブル・ツー・テキスト生成をターゲットとするPromptMizeという新しいフレームワークを提案する。 私たちのフレームワークの設計は、プロンプトプランナーと知識アダプタの2つの側面で構成されています。 本モデルは,人的・自動的な評価によって判断される品質を著しく向上させる。
  論文  参考訳（メタデータ） (2023-02-09T03:04:11Z)
• TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge [83.55215993730326]
  本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
  論文  参考訳（メタデータ） (2022-03-16T10:37:59Z)
• Open Domain Question Answering over Virtual Documents: A Unified Approach for Data and Text [62.489652395307914]
  我々は、知識集約型アプリケーションのための構造化知識を符号化する手段として、Data-to-text法、すなわち、オープンドメイン質問応答(QA)を用いる。 具体的には、ウィキペディアとウィキソースの3つのテーブルを付加知識源として使用する、データとテキスト上でのオープンドメインQAのための冗長化-レトリバー・リーダー・フレームワークを提案する。 UDT-QA(Unified Data and Text QA)は,知識インデックスの拡大を効果的に活用できることを示す。
  論文  参考訳（メタデータ） (2021-10-16T00:11:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。