論文の概要: Improving Zero-shot Reader by Reducing Distractions from Irrelevant
Documents in Open-Domain Question Answering
- arxiv url: http://arxiv.org/abs/2310.17490v3
- Date: Tue, 14 Nov 2023 06:49:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 17:45:24.210004
- Title: Improving Zero-shot Reader by Reducing Distractions from Irrelevant
Documents in Open-Domain Question Answering
- Title(参考訳): オープンドメイン質問応答における非関連文書の歪み低減によるゼロショット読解の改善
- Authors: Sukmin Cho, Jeongyeon Seo, Soyeong Jeong, Jong C. Park
- Abstract要約: 大規模言語モデル(LLM)は、オープンドメイン質問応答(ODQA)におけるゼロショットアプローチを可能にする
本研究の目的は,計算コストの課題とラベル付きデータの必要性に対処するゼロショットリーダの実現性である。
- 参考スコア(独自算出の注目度): 10.794156033638984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) enable zero-shot approaches in open-domain
question answering (ODQA), yet with limited advancements as the reader is
compared to the retriever. This study aims at the feasibility of a zero-shot
reader that addresses the challenges of computational cost and the need for
labeled data. We find that LLMs are distracted due to irrelevant documents in
the retrieved set and the overconfidence of the generated answers when they are
exploited as zero-shot readers. To tackle these problems, we mitigate the
impact of such documents via Distraction-aware Answer Selection (DAS) with a
negation-based instruction and score adjustment for proper answer selection.
Experimental results show that our approach successfully handles distraction
across diverse scenarios, enhancing the performance of zero-shot readers.
Furthermore, unlike supervised readers struggling with unseen data, zero-shot
readers demonstrate outstanding transferability without any training.
- Abstract(参考訳): 大規模言語モデル (LLM) は、オープンドメイン質問応答 (ODQA) においてゼロショットアプローチを可能にするが、読者が検索者と比較されるにつれて、進歩は限られている。
本研究の目的は,計算コストの課題とラベル付きデータの必要性に対処するゼロショットリーダの実現性である。
LLMは、検索された集合の無関係な文書と、ゼロショットリーダーとして利用された際の生成した回答の過度な信頼のため、混乱していることがわかった。
これらの問題に対処するため,DAS(Distract-Aware Answer Selection)を用いて,適切な回答選択のための否定に基づく命令とスコア調整を行う。
実験の結果,提案手法は様々なシナリオにまたがって注意をそらすことに成功し,ゼロショットリーダーの性能が向上した。
さらに、目に見えないデータに苦しむ教師付き読者とは異なり、ゼロショット読者はトレーニングなしで優れた転送性を示す。
関連論文リスト
- Answerability in Retrieval-Augmented Open-Domain Question Answering [17.177439885871788]
Open-Domain Question Answering (ODQA) 検索システムは準最適動作を示すことができ、テキストの抜粋は無関係である。
このギャップに対処する以前の試みは、ランダムテキストの抜粋とペアリングする単純なアプローチに頼っていた。
論文 参考訳(メタデータ) (2024-03-03T09:55:35Z) - Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。
近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。
本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文 参考訳(メタデータ) (2023-10-08T06:17:39Z) - Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。
生成したコンテンツの正確性と適切性に関する懸念が続いている。
現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
論文 参考訳(メタデータ) (2023-10-03T04:56:12Z) - SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step
Reasoning [55.76083560152823]
SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。
我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
論文 参考訳(メタデータ) (2023-08-01T10:31:36Z) - Evidentiality-aware Retrieval for Overcoming Abstractiveness in
Open-Domain Question Answering [29.00167886463793]
本稿では, 証拠パスを注意散逸者から識別するためのEADPR (Evidentiality-Aware Passage Retrieval) を提案する。
提案手法が複数の抽象型ODQAタスクにおいて有効であることを示すため,広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-04-06T12:42:37Z) - ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language
Models [6.13621607944513]
本稿では,ゼロショットタスク指向構文解析法であるZEROTOPを提案する。
MTOPデータセットの発話の16%を,注釈付きデータを必要とすることなく正確に解析できることを示す。
論文 参考訳(メタデータ) (2022-12-21T07:06:55Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [84.1784903043884]
Open-Domain Question Answering (ODQA) は、背景文書を明示的に提供せずにファクトイドの質問に答えることを目的としている。
ゼロショット設定では、Retriever-Readersのようなカスタマイズされたモデルをトレーニングするデータがないため、このタスクはより難しい。
本稿では,大規模言語モデルのパラメータに格納された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader
Models [36.58955176223759]
Retriever-Readerモデルは、オープン質問応答や対話会話など、多くの異なるNLPタスク間での競合的なパフォーマンスを実現する。
学習可能なパスマスク機構を導入し、トップランクの検索パスからの影響を減らし、モデルが過度に適合しないようにする。
論文 参考訳(メタデータ) (2022-11-02T06:39:46Z) - ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。
本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
論文 参考訳(メタデータ) (2022-05-10T15:39:11Z) - LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text
Retrieval [55.097573036580066]
実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。
再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
論文 参考訳(メタデータ) (2022-03-11T18:53:12Z) - Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。
不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。
本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
論文 参考訳(メタデータ) (2020-01-27T11:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。