論文の概要: Knowledge Corpus Error in Question Answering
- arxiv url: http://arxiv.org/abs/2310.18076v1
- Date: Fri, 27 Oct 2023 11:44:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 13:55:22.177369
- Title: Knowledge Corpus Error in Question Answering
- Title(参考訳): 質問応答における知識コーパス誤り
- Authors: Yejoon Lee, Philhoon Oh, James Thorne
- Abstract要約: 本研究は,従来の質問応答(QA)の定式化を再考し,知識コーパスエラーの概念を紹介する。
そこで我々は,大規模言語モデル (LLM) を用いて,知識コーパスの誤りを経験的に観察する実験を行った。
その結果,パラフレーズ文を用いた場合,10%~13%のパフォーマンスが向上し,知識コーパス誤りの存在のシグナルが示唆された。
- 参考スコア(独自算出の注目度): 7.668954669688971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works in open-domain question answering (QA) have explored generating
context passages from large language models (LLMs), replacing the traditional
retrieval step in the QA pipeline. However, it is not well understood why
generated passages can be more effective than retrieved ones. This study
revisits the conventional formulation of QA and introduces the concept of
knowledge corpus error. This error arises when the knowledge corpus used for
retrieval is only a subset of the entire string space, potentially excluding
more helpful passages that exist outside the corpus. LLMs may mitigate this
shortcoming by generating passages in a larger space. We come up with an
experiment of paraphrasing human-annotated gold context using LLMs to observe
knowledge corpus error empirically. Our results across three QA benchmarks
reveal an increased performance (10% - 13%) when using paraphrased passage,
indicating a signal for the existence of knowledge corpus error. Our code is
available at https://github.com/xfactlab/emnlp2023-knowledge-corpus-error
- Abstract(参考訳): オープンドメイン質問応答(QA)における最近の研究は、大規模言語モデル(LLM)からコンテキストパスを生成し、QAパイプラインにおける従来の検索ステップを置き換えることを検討している。
しかし、なぜ生成した節が検索された節よりも効果的になるのかはよく分かっていない。
本稿では,従来のQAの定式化を再考し,知識コーパスエラーの概念を紹介する。
この誤りは、検索に使用する知識コーパスが文字列空間全体のサブセットに過ぎず、コーパスの外にあるより有用なパスを除外する可能性がある場合に発生する。
LLMは、この欠点を軽減するために、より大きな空間の通路を生成する。
我々は, LLMを用いて, 知識コーパスの誤りを経験的に観察する実験を行った。
3つのQAベンチマークに比較して,パラフレーズパスを用いた場合のパフォーマンスが10%~13%向上し,知識コーパスエラー発生のシグナルが示唆された。
私たちのコードはhttps://github.com/xfactlab/emnlp2023-knowledge-corpus-errorで利用可能です。
関連論文リスト
- FlashBack:Efficient Retrieval-Augmented Language Modeling for Long Context Inference [47.03691582405274]
追加コンテキストパターンによるALMの推論効率を向上させるためのモジュール型ALMである textscFlashBack を提案する。
textscFlashBacksはコンテキストの最後にドキュメントを検索し、KVキャッシュをプリコンパイルする代わりに効率的に活用する。
論文 参考訳(メタデータ) (2024-05-07T07:14:38Z) - Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。
本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-05-04T20:38:41Z) - Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。
我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文 参考訳(メタデータ) (2024-04-04T16:40:11Z) - Dense X Retrieval: What Retrieval Granularity Should We Use? [59.359325855708974]
しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。
提案手法はテキスト内の原子式として定義され,それぞれが別個のファクトイドをカプセル化している。
その結果,命題に基づく検索は,従来の通訳法や文による検索方法よりも格段に優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-11T18:57:35Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Knowledge-Augmented Language Model Verification [68.6099592486075]
最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。
本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。
その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
論文 参考訳(メタデータ) (2023-10-19T15:40:00Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - Reducing the impact of out of vocabulary words in the translation of
natural language questions into SPARQL queries [5.97507595130844]
SPARQLにおける自然言語による質問の自動翻訳は、この問題を克服する可能性を秘めている。
ニューラルマシン翻訳に基づく既存のシステムは、トレーニングセットのアウト・オブ・ザ・ボキャブラリ(OOV)である単語を認識するのに非常に効果的であるが、容易に失敗する。
論文 参考訳(メタデータ) (2021-11-04T16:53:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。