論文の概要: DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text
- arxiv url: http://arxiv.org/abs/2310.20170v1
- Date: Tue, 31 Oct 2023 04:37:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 16:36:02.833122
- Title: DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text
- Title（参考訳）: DIVKNOWQA:知識ベースとテキストに関するオープンドメイン質問回答によるLLMの推論能力の評価
- Authors: Wenting Zhao, Ye Liu, Tong Niu, Yao Wan, Philip S. Yu, Shafiq Joty,
Yingbo Zhou, Semih Yavuz
- Abstract要約: 大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
- 参考スコア（独自算出の注目度）: 73.68051228972024
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) have exhibited impressive generation
capabilities, but they suffer from hallucinations when solely relying on their
internal knowledge, especially when answering questions that require less
commonly known information. Retrieval-augmented LLMs have emerged as a
potential solution to ground LLMs in external knowledge. Nonetheless, recent
approaches have primarily emphasized retrieval from unstructured text corpora,
owing to its seamless integration into prompts. When using structured data such
as knowledge graphs, most methods simplify it into natural text, neglecting the
underlying structures. Moreover, a significant gap in the current landscape is
the absence of a realistic benchmark for evaluating the effectiveness of
grounding LLMs on heterogeneous knowledge sources (e.g., knowledge base and
text). To fill this gap, we have curated a comprehensive dataset that poses two
unique challenges: (1) Two-hop multi-source questions that require retrieving
information from both open-domain structured and unstructured knowledge
sources; retrieving information from structured knowledge sources is a critical
component in correctly answering the questions. (2) The generation of symbolic
queries (e.g., SPARQL for Wikidata) is a key requirement, which adds another
layer of challenge. Our dataset is created using a combination of automatic
generation through predefined reasoning chains and human annotation. We also
introduce a novel approach that leverages multiple retrieval tools, including
text passage retrieval and symbolic language-assisted retrieval. Our model
outperforms previous approaches by a significant margin, demonstrating its
effectiveness in addressing the above-mentioned reasoning challenges.
- Abstract（参考訳）: 大言語モデル(LLM)は印象的な生成能力を示すが、内部知識のみに依存する場合、特にあまり知られていない情報を必要とする質問に答える場合、幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
しかしながら、近年のアプローチは、プロンプトへのシームレスな統合のため、構造化されていないテキストコーパスからの検索を主に重視している。
ナレッジグラフのような構造化データを使用する場合、ほとんどのメソッドは自然テキストに単純化し、基礎となる構造を無視する。
さらに、現在のランドスケープにおける大きなギャップは、異種知識ソース(例えば、知識ベースとテキスト)にLLMを接地することの有効性を評価するための現実的なベンチマークがないことである。
このギャップを埋めるために,(1)オープンドメインと非構造化知識ソースの双方から情報を取得する必要がある2段階のマルチソース質問,2)構造化知識ソースからの情報検索は,質問に正しく答える上で重要な要素である,という2つのユニークな課題を提起した。
2) シンボリッククエリ(例えば、WikidataのSPARQL)の生成は重要な要件であり、別のレイヤの課題が追加されている。
我々のデータセットは、事前定義された推論チェーンと人間のアノテーションによる自動生成の組み合わせで作成されます。
また,テキストパス検索や記号言語支援検索など,複数の検索ツールを活用する新しい手法を提案する。
私たちのモデルは、上記の推論課題に対処する上での有効性を示しながら、これまでのアプローチをかなりのマージンで上回っています。
関連論文リスト
- Contri(e)ve: Context + Retrieve for Scholarly Question Answering [0.0]
本稿では,オープンソースのLarge Language Model (LLM): Scholarly-QALDデータセット用のLlama3.1を提案する。
まず、異なる構造化データソースと非構造化データソースから質問に関連するコンテキストを抽出する。
第2に,LLMの情報検索性能を向上させるために,プロンプトエンジニアリングを実装した。
論文 参考訳（メタデータ） (2024-09-13T17:38:47Z) - Redefining Information Retrieval of Structured Database via Large Language Models [9.65171883231521]
本稿では,ChatLRと呼ばれる新しい検索拡張フレームワークを提案する。
主に、Large Language Models (LLM) の強力な意味理解能力を用いて、正確かつ簡潔な情報検索を実現する。
実験の結果、ChatLRがユーザクエリに対処する効果を示し、全体の情報検索精度は98.8%を超えた。
論文 参考訳（メタデータ） (2024-05-09T02:37:53Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳（メタデータ） (2024-04-19T22:54:54Z) - Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A Case Study at HCMUT [2.8000537365271367]
大規模言語モデル(LLM)は活発な研究トピックとして現れている。
LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。
本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
論文 参考訳（メタデータ） (2024-04-14T16:34:31Z) - Two-stage Generative Question Answering on Temporal Knowledge Graph Using Large Language Models [24.417129499480975]
本稿ではまず,新しい時間的知識グラフ質問応答フレームワークGenTKGQAを提案する。
まず、LLMの本質的な知識を利用して、時間的制約や質問の構造的リンクを余分な訓練なしに掘り下げる。
次に、サブグラフのグラフニューラルネットワーク信号とLLMのテキスト表現を非浅めに融合させる仮想知識インジケータを設計する。
論文 参考訳（メタデータ） (2024-02-26T13:47:09Z) - InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
論文 参考訳（メタデータ） (2024-01-29T19:00:01Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳（メタデータ） (2024-01-23T11:25:34Z) - An In-Context Schema Understanding Method for Knowledge Base Question
Answering [70.87993081445127]
大きな言語モデル(LLM)は、言語理解において強力な能力を示しており、この課題を解決するために使用することができる。
既存のメソッドは、当初、スキーマ固有の詳細を使わずにLLMを使用してロジックフォームのドラフトを生成することで、この課題を回避している。
そこで本研究では,LLMが文脈内学習を利用してスキーマを直接理解できる簡易なインコンテキスト理解(ICSU)手法を提案する。
論文 参考訳（メタデータ） (2023-10-22T04:19:17Z) - TegTok: Augmenting Text Generation via Task-specific and Open-world
Knowledge [83.55215993730326]
本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。
本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
論文 参考訳（メタデータ） (2022-03-16T10:37:59Z) - Open Domain Question Answering over Virtual Documents: A Unified
Approach for Data and Text [62.489652395307914]
我々は、知識集約型アプリケーションのための構造化知識を符号化する手段として、Data-to-text法、すなわち、オープンドメイン質問応答(QA)を用いる。
具体的には、ウィキペディアとウィキソースの3つのテーブルを付加知識源として使用する、データとテキスト上でのオープンドメインQAのための冗長化-レトリバー・リーダー・フレームワークを提案する。
UDT-QA(Unified Data and Text QA)は,知識インデックスの拡大を効果的に活用できることを示す。
論文 参考訳（メタデータ） (2021-10-16T00:11:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。