Fugu-MT 論文翻訳(概要): Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering

論文の概要: Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering

arxiv url: http://arxiv.org/abs/2310.17490v1
Date: Thu, 26 Oct 2023 15:45:12 GMT
ステータス: 処理完了
システム内更新日: 2023-10-27 19:27:09.801039
Title: Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering
Title（参考訳）: オープンドメイン質問応答における非関連文書の歪み低減によるゼロショット読解の改善
Authors: Sukmin Cho, Jeong yeon Seo, Soyeong Jeong, Jong C. Park
Abstract要約: 大規模言語モデル(LLM)は、オープンドメイン質問応答(ODQA)におけるゼロショットアプローチを可能にする本研究の目的は,計算コストの課題とラベル付きデータの必要性に対処するゼロショットリーダの実現性である。
参考スコア（独自算出の注目度）: 10.794156033638984
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) enable zero-shot approaches in open-domain question answering (ODQA), yet with limited advancements as the reader is compared to the retriever. This study aims at the feasibility of a zero-shot reader that addresses the challenges of computational cost and the need for labeled data. We find that LLMs are distracted due to irrelevant documents in the retrieved set and the overconfidence of the generated answers when they are exploited as zero-shot readers. To tackle these problems, we mitigate the impact of such documents via Distraction-aware Answer Selection (DAS) with a negation-based instruction and score adjustment for proper answer selection. Experimental results show that our approach successfully handles distraction across diverse scenarios, enhancing the performance of zero-shot readers. Furthermore, unlike supervised readers struggling with unseen data, zero-shot readers demonstrate outstanding transferability without any training.
Abstract（参考訳）: 大規模言語モデル (LLM) は、オープンドメイン質問応答 (ODQA) においてゼロショットアプローチを可能にするが、読者が検索者と比較されるにつれて、進歩は限られている。本研究の目的は,計算コストの課題とラベル付きデータの必要性に対処するゼロショットリーダの実現性である。 LLMは、検索された集合の無関係な文書と、ゼロショットリーダーとして利用された際の生成した回答の過度な信頼のため、混乱していることがわかった。これらの問題に対処するため,DAS(Distract-Aware Answer Selection)を用いて,適切な回答選択のための否定に基づく命令とスコア調整を行う。実験の結果,提案手法は様々なシナリオにまたがって注意をそらすことに成功し,ゼロショットリーダーの性能が向上した。さらに、目に見えないデータに苦しむ教師付き読者とは異なり、ゼロショット読者はトレーニングなしで優れた転送性を示す。

関連論文リスト

Calibrated Decision-Making through LLM-Assisted Retrieval [21.14260990790119]
大きな言語モデルが自信を持って誤った情報を提供すると、人間に最適な決定を下すことになる。本稿では,検索した文書から得られる決定が適切に校正されることを保証するために,キャリブレーション型検索生成(CalibRAG)を提案する。
論文参考訳（メタデータ） (2024-10-28T06:41:05Z)
DORY: Deliberative Prompt Recovery for LLM [11.988508965818767]
Deliberative PrOmpt Recovery (DORY)は、不確実性を利用してプロンプトを正確に回収する新しいアプローチである。 DORYは出力からのドラフトを再構築し、ヒントでそれらを精製し、不確実性に基づいてノイズを除去する。評価の結果,DORYは既存のベースラインを上回る性能を示し,約10.82%の性能向上を実現している。
論文参考訳（メタデータ） (2024-05-31T07:51:16Z)
Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
単純だが効果的なブラックボックスゼロショット検出手法を提案する。人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
論文参考訳（メタデータ） (2024-05-07T12:57:01Z)
Answerability in Retrieval-Augmented Open-Domain Question Answering [17.177439885871788]
Open-Domain Question Answering (ODQA) 検索システムは準最適動作を示すことができ、テキストの抜粋は無関係である。このギャップに対処する以前の試みは、ランダムテキストの抜粋とペアリングする単純なアプローチに頼っていた。
論文参考訳（メタデータ） (2024-03-03T09:55:35Z)
Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文参考訳（メタデータ） (2023-10-08T06:17:39Z)
SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
論文参考訳（メタデータ） (2023-08-01T10:31:36Z)
Evidentiality-aware Retrieval for Overcoming Abstractiveness in Open-Domain Question Answering [29.00167886463793]
本稿では, 証拠パスを注意散逸者から識別するためのEADPR (Evidentiality-Aware Passage Retrieval) を提案する。提案手法が複数の抽象型ODQAタスクにおいて有効であることを示すため,広範囲な実験を行った。
論文参考訳（メタデータ） (2023-04-06T12:42:37Z)
Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文参考訳（メタデータ） (2022-12-16T18:23:43Z)
ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
論文参考訳（メタデータ） (2022-05-10T15:39:11Z)
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval [55.097573036580066]
実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
論文参考訳（メタデータ） (2022-03-11T18:53:12Z)
Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
論文参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。