論文の概要: Enhancing Robustness of Retrieval-Augmented Language Models with In-Context Learning
- arxiv url: http://arxiv.org/abs/2408.04414v1
- Date: Thu, 8 Aug 2024 12:42:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 15:38:36.166816
- Title: Enhancing Robustness of Retrieval-Augmented Language Models with In-Context Learning
- Title（参考訳）: 文脈内学習を用いた検索言語モデルのロバスト性向上
- Authors: Seong-Il Park, Seung-Woo Choi, Na-Hyun Kim, Jay-Yoon Lee,
- Abstract要約: 本研究では、ALMの推論能力を高めるために、文脈内学習に基づくアプローチを導入する。
我々のアプローチは、追加の微調整を必要とせずに、解決不可能なシナリオと矛盾するシナリオを特定する精度を高める。
- 参考スコア（独自算出の注目度）: 5.053086684547045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Language Models (RALMs) have significantly improved performance in open-domain question answering (QA) by leveraging external knowledge. However, RALMs still struggle with unanswerable queries, where the retrieved contexts do not contain the correct answer, and with conflicting information, where different sources provide contradictory answers due to imperfect retrieval. This study introduces an in-context learning-based approach to enhance the reasoning capabilities of RALMs, making them more robust in imperfect retrieval scenarios. Our method incorporates Machine Reading Comprehension (MRC) demonstrations, referred to as cases, to boost the model's capabilities to identify unanswerabilities and conflicts among the retrieved contexts. Experiments on two open-domain QA datasets show that our approach increases accuracy in identifying unanswerable and conflicting scenarios without requiring additional fine-tuning. This work demonstrates that in-context learning can effectively enhance the robustness of RALMs in open-domain QA tasks.
- Abstract（参考訳）: Retrieval-Augmented Language Models (RALMs) は、外部知識を活用することにより、オープンドメイン質問応答(QA)の性能を大幅に向上させた。
しかし、ALMは、検索されたコンテキストが正しい回答を含まない、不完全な検索のために異なるソースが矛盾する回答を提供する、という、解決不可能なクエリに苦慮している。
本研究では、ALMの推論能力を高めるために、文脈内学習に基づくアプローチを導入し、不完全な検索シナリオにおいてより堅牢にする。
提案手法では,Machine Reading Comprehension (MRC) デモをケースとして組み込んで,検索したコンテキスト間の不確実性や矛盾を識別するモデルの能力を向上する。
オープンドメインの2つのQAデータセットの実験では、追加の微調整を必要とせず、解決不可能なシナリオと競合するシナリオを特定する際の精度が向上している。
この研究は、オープンドメインQAタスクにおけるRALMの堅牢性を効果的に向上できることを実証する。
関連論文リスト
- Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。
これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。
オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
論文 参考訳（メタデータ） (2024-11-25T06:48:38Z) - Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。
パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
論文 参考訳（メタデータ） (2024-09-27T05:06:43Z) - VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。
VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
論文 参考訳（メタデータ） (2024-09-18T16:10:47Z) - Adaptive Contrastive Decoding in Retrieval-Augmented Generation for Handling Noisy Contexts [24.5315425886482]
文脈の影響を効果的に活用するための適応型コントラスト復号法(ACD)を提案する。
ACDは、ベースラインよりもオープンドメインの質問応答タスクの改善を示している。
論文 参考訳（メタデータ） (2024-08-02T08:03:38Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA)
我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。
オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-02-27T13:22:51Z) - Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models [54.55088169443828]
CoN(Chain-of-Noting)は、ノイズや無関係な文書、未知のシナリオの処理において、ALMの堅牢性を改善することを目的とした、新しいアプローチである。
CoNは、完全にノイズの多い検索された文書が与えられるEMスコアの+7.9と、トレーニング済みの知識範囲外にあるリアルタイム質問に対する拒絶率+10.5の平均的な改善を実現している。
論文 参考訳（メタデータ） (2023-11-15T18:54:53Z) - Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。
FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。
テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-11-14T18:41:54Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Conversational Query Rewriting with Self-supervised Learning [36.392717968127016]
Conversational Query Rewriting (CQR) は、会話クエリを自己完結した発話に明示的に書き換えることによって、マルチターン対話を単一ターン問題に単純化することを目的としている。
既存のアプローチは、アノテートに労働集約的な大規模な教師付きトレーニングデータに依存している。
我々は,人間のアノテーションを必要としない自己教師付き学習により,大規模CQRデータセットを自動構築することを提案する。
論文 参考訳（メタデータ） (2021-02-09T08:57:53Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。