論文の概要: Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language
Models
- arxiv url: http://arxiv.org/abs/2311.09210v1
- Date: Wed, 15 Nov 2023 18:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 14:28:17.521226
- Title: Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language
Models
- Title(参考訳): Chain-of-Note:Retrieval-Augmented Language Modelにおけるロバスト性向上
- Authors: Wenhao Yu, Hongming Zhang, Xiaoman Pan, Kaixin Ma, Hongwei Wang, Dong
Yu
- Abstract要約: CoN(Chain-of-Noting)は、ノイズや無関係な文書、未知のシナリオの処理において、ALMの堅牢性を改善することを目的とした、新しいアプローチである。
CoNは、完全にノイズの多い検索された文書が与えられるEMスコアの+7.9と、トレーニング済みの知識範囲外にあるリアルタイム質問に対する拒絶率+10.5の平均的な改善を実現している。
- 参考スコア(独自算出の注目度): 57.80297731039275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented language models (RALMs) represent a substantial
advancement in the capabilities of large language models, notably in reducing
factual hallucination by leveraging external knowledge sources. However, the
reliability of the retrieved information is not always guaranteed. The
retrieval of irrelevant data can lead to misguided responses, and potentially
causing the model to overlook its inherent knowledge, even when it possesses
adequate information to address the query. Moreover, standard RALMs often
struggle to assess whether they possess adequate knowledge, both intrinsic and
retrieved, to provide an accurate answer. In situations where knowledge is
lacking, these systems should ideally respond with "unknown" when the answer is
unattainable. In response to these challenges, we introduces Chain-of-Noting
(CoN), a novel approach aimed at improving the robustness of RALMs in facing
noisy, irrelevant documents and in handling unknown scenarios. The core idea of
CoN is to generate sequential reading notes for retrieved documents, enabling a
thorough evaluation of their relevance to the given question and integrating
this information to formulate the final answer. We employed ChatGPT to create
training data for CoN, which was subsequently trained on an LLaMa-2 7B model.
Our experiments across four open-domain QA benchmarks show that RALMs equipped
with CoN significantly outperform standard RALMs. Notably, CoN achieves an
average improvement of +7.9 in EM score given entirely noisy retrieved
documents and +10.5 in rejection rates for real-time questions that fall
outside the pre-training knowledge scope.
- Abstract(参考訳): Retrieval-augmented Language Model (RALMs) は、大規模な言語モデルの能力、特に外部の知識源を活用することで幻覚を減らし、大幅に進歩した言語モデルである。
しかし、検索された情報の信頼性は必ずしも保証されない。
無関係なデータの検索は、誤った応答をもたらし、クエリに対処する十分な情報を持っている場合でも、モデルが固有の知識を見落としてしまう可能性がある。
さらに、標準的なALMは、内在的にも回収的にも十分な知識を持っているかどうかを評価するのに苦労することが多い。
知識が不足している状況では、これらのシステムは、答えが到達できない場合、理想的には"未知"で応答すべきである。
これらの課題に対応するために、我々は、ノイズ、無関係な文書、未知のシナリオの処理において、ALMの堅牢性を改善するための新しいアプローチであるChain-of-Noting(CoN)を紹介した。
CoNの中核となる考え方は、取得した文書のシーケンシャルな読解ノートを生成し、与えられた質問に対するそれらの関連性を徹底的に評価し、この情報を統合して最終回答を定式化することである。
我々はChatGPTを用いてCoNのトレーニングデータを作成し、その後LLaMa-2 7Bモデルでトレーニングを行った。
オープンドメインQAベンチマークによる実験の結果,CoNを実装したRALMは標準のRALMよりも有意に優れていた。
特に、CoNは、完全にノイズの多い検索された文書が与えられたEMスコアの+7.9と、事前学習された知識の範囲外にあるリアルタイム質問に対する拒絶率+10.5の平均的な改善を達成している。
関連論文リスト
- REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for
Short-form Open-Domain Question Answering [47.94807819416793]
アダプティブ検索拡張生成(ARAG)は、不特定に検索するのではなく、クエリに対する検索の必要性を動的に決定することを目的としている。
この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
本稿では,LLMが校正や追加訓練なしに検索の必要性を評価するのに役立つ,シンプルかつ効果的な手法であるTime-Aware Adaptive Retrieval (TA-ARE)を提案する。
論文 参考訳(メタデータ) (2024-02-26T09:59:04Z) - Empirical evaluation of Uncertainty Quantification in
Retrieval-Augmented Language Models for Science [0.0]
本研究では,科学知識を事前学習・検索データとして組み込んだ場合,不確実性スコアがどう変化するかを検討する。
我々は,検索データが予測生成に自信を持つ傾向にあるため,科学的知識に精通した既存のALMを観察する。
また、ALMは予測を過信しており、正確な予測よりも不正確な予測を確実にしていることもわかりました。
論文 参考訳(メタデータ) (2023-11-15T20:42:11Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Making Retrieval-Augmented Language Models Robust to Irrelevant Context [60.70054129188434]
ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。
近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
論文 参考訳(メタデータ) (2023-10-02T18:52:35Z) - Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。
我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。
RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文 参考訳(メタデータ) (2023-09-04T08:28:44Z) - Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for
Knowledge-intensive Question Answering [17.672572064705445]
CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。
我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-25T09:23:55Z) - REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。
本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。
オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
論文 参考訳(メタデータ) (2020-02-10T18:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。