論文の概要: Knowledge Corpus Error in Question Answering

• arxiv url: http://arxiv.org/abs/2310.18076v1
• Date: Fri, 27 Oct 2023 11:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 13:55:22.177369
• Title: Knowledge Corpus Error in Question Answering
• Title（参考訳）: 質問応答における知識コーパス誤り
• Authors: Yejoon Lee, Philhoon Oh, James Thorne
• Abstract要約: 本研究は,従来の質問応答(QA)の定式化を再考し,知識コーパスエラーの概念を紹介する。 そこで我々は,大規模言語モデル (LLM) を用いて,知識コーパスの誤りを経験的に観察する実験を行った。 その結果,パラフレーズ文を用いた場合,10%～13%のパフォーマンスが向上し,知識コーパス誤りの存在のシグナルが示唆された。
• 参考スコア（独自算出の注目度）: 7.668954669688971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works in open-domain question answering (QA) have explored generating context passages from large language models (LLMs), replacing the traditional retrieval step in the QA pipeline. However, it is not well understood why generated passages can be more effective than retrieved ones. This study revisits the conventional formulation of QA and introduces the concept of knowledge corpus error. This error arises when the knowledge corpus used for retrieval is only a subset of the entire string space, potentially excluding more helpful passages that exist outside the corpus. LLMs may mitigate this shortcoming by generating passages in a larger space. We come up with an experiment of paraphrasing human-annotated gold context using LLMs to observe knowledge corpus error empirically. Our results across three QA benchmarks reveal an increased performance (10% - 13%) when using paraphrased passage, indicating a signal for the existence of knowledge corpus error. Our code is available at https://github.com/xfactlab/emnlp2023-knowledge-corpus-error
• Abstract（参考訳）: オープンドメイン質問応答(QA)における最近の研究は、大規模言語モデル(LLM)からコンテキストパスを生成し、QAパイプラインにおける従来の検索ステップを置き換えることを検討している。 しかし、なぜ生成した節が検索された節よりも効果的になるのかはよく分かっていない。 本稿では,従来のQAの定式化を再考し,知識コーパスエラーの概念を紹介する。 この誤りは、検索に使用する知識コーパスが文字列空間全体のサブセットに過ぎず、コーパスの外にあるより有用なパスを除外する可能性がある場合に発生する。 LLMは、この欠点を軽減するために、より大きな空間の通路を生成する。 我々は, LLMを用いて, 知識コーパスの誤りを経験的に観察する実験を行った。 3つのQAベンチマークに比較して,パラフレーズパスを用いた場合のパフォーマンスが10%～13%向上し,知識コーパスエラー発生のシグナルが示唆された。 私たちのコードはhttps://github.com/xfactlab/emnlp2023-knowledge-corpus-errorで利用可能です。

関連論文リスト

• Contri(e)ve: Context + Retrieve for Scholarly Question Answering [0.0]
  本稿では,オープンソースのLarge Language Model (LLM): Scholarly-QALDデータセット用のLlama3.1を提案する。 まず、異なる構造化データソースと非構造化データソースから質問に関連するコンテキストを抽出する。 第2に,LLMの情報検索性能を向上させるために,プロンプトエンジニアリングを実装した。
  論文  参考訳（メタデータ） (2024-09-13T17:38:47Z)
• Explicating the Implicit: Argument Detection Beyond Sentence Boundaries [24.728886446551577]
  本稿では,文境界を越えた意味的関係を捉えるために,文内包による議論検出の問題を再検討する。 本手法は直接監視を必要としないが,データセット不足のため一般的には欠落している。 近年の文書レベルのベンチマークでは、教師付き手法や現代言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-08-08T06:18:24Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
  しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。 本稿では,高密度検索のための新しい検索ユニット,命題を提案する。 実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• Knowledge-Augmented Language Model Verification [68.6099592486075]
  最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。 本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。 その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
  論文  参考訳（メタデータ） (2023-10-19T15:40:00Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Reducing the impact of out of vocabulary words in the translation of natural language questions into SPARQL queries [5.97507595130844]
  SPARQLにおける自然言語による質問の自動翻訳は、この問題を克服する可能性を秘めている。 ニューラルマシン翻訳に基づく既存のシステムは、トレーニングセットのアウト・オブ・ザ・ボキャブラリ(OOV)である単語を認識するのに非常に効果的であるが、容易に失敗する。
  論文  参考訳（メタデータ） (2021-11-04T16:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。