論文の概要: Learning to Filter Context for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2311.08377v1
- Date: Tue, 14 Nov 2023 18:41:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 13:02:25.202496
- Title: Learning to Filter Context for Retrieval-Augmented Generation
- Title(参考訳): 検索型生成のためのコンテキストフィルタリングの学習
- Authors: Zhiruo Wang, Jun Araki, Zhengbao Jiang, Md Rizwan Parvez, Graham
Neubig
- Abstract要約: 生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。
FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。
テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
- 参考スコア(独自算出の注目度): 75.18946584853316
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: On-the-fly retrieval of relevant knowledge has proven an essential element of
reliable systems for tasks such as open-domain question answering and fact
verification. However, because retrieval systems are not perfect, generation
models are required to generate outputs given partially or entirely irrelevant
passages. This can cause over- or under-reliance on context, and result in
problems in the generated output such as hallucinations. To alleviate these
problems, we propose FILCO, a method that improves the quality of the context
provided to the generator by (1) identifying useful context based on lexical
and information-theoretic approaches, and (2) training context filtering models
that can filter retrieved contexts at test time. We experiment on six
knowledge-intensive tasks with FLAN-T5 and LLaMa2, and demonstrate that our
method outperforms existing approaches on extractive question answering (QA),
complex multi-hop and long-form QA, fact verification, and dialog generation
tasks. FILCO effectively improves the quality of context, whether or not it
supports the canonical output.
- Abstract(参考訳): 関連知識のオンザフライ検索は,オープンドメイン質問応答や事実検証といったタスクにおいて,信頼性の高いシステムの重要な要素であることが証明されている。
しかし、検索システムは完全ではないため、生成モデルは部分的にあるいは全く関係のない経路で出力を生成する必要がある。
これは文脈に対する過度または過度な信頼を引き起こし、幻覚のような生成された出力に問題を引き起こす。
そこで本研究では,(1)語彙的および情報論的アプローチに基づく有用なコンテキストの同定,(2)検索されたコンテキストをテスト時にフィルタリング可能なコンテキストフィルタリングモデルの訓練により,ジェネレータに提供されるコンテキストの品質を向上させるfilcoを提案する。
FLAN-T5とLLaMa2の6つの知識集約タスクを実験し,提案手法が抽出質問応答(QA),複雑なマルチホップおよび長文QA,事実検証,ダイアログ生成タスクにおける既存手法よりも優れていることを示す。
FILCOは、標準出力をサポートするかどうかに関わらず、コンテキストの品質を効果的に改善する。
関連論文リスト
- BlendFilter: Advancing Retrieval-Augmented Large Language Models via
Query Generation Blending and Knowledge Filtering [45.5503646257655]
BlendFilterは、知識フィルタリングと組み合わせたクエリ生成を統合することで、検索強化された大規模言語モデルを高める新しいアプローチである。
我々は3つのオープンドメイン質問応答ベンチマークで広範な実験を行い、我々の革新的なBlendFilterが最先端のベースラインをはるかに上回っていることを明らかにした。
論文 参考訳(メタデータ) (2024-02-16T23:28:02Z) - Grounding Language Model with Chunking-Free In-Context Retrieval [27.316315081648572]
本稿では,新しいチャンキングフリー・インコンテキスト(CFIC)検索手法を提案する。
論文 参考訳(メタデータ) (2024-02-15T07:22:04Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue
System [40.33178881317882]
本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。
本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
論文 参考訳(メタデータ) (2023-10-13T06:03:47Z) - Making Retrieval-Augmented Language Models Robust to Irrelevant Context [60.70054129188434]
ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。
近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
論文 参考訳(メタデータ) (2023-10-02T18:52:35Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。
このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
論文 参考訳(メタデータ) (2020-10-12T06:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。