論文の概要: BlendFilter: Advancing Retrieval-Augmented Large Language Models via
Query Generation Blending and Knowledge Filtering
- arxiv url: http://arxiv.org/abs/2402.11129v1
- Date: Fri, 16 Feb 2024 23:28:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 23:13:55.446327
- Title: BlendFilter: Advancing Retrieval-Augmented Large Language Models via
Query Generation Blending and Knowledge Filtering
- Title(参考訳): blendfilter:クエリ生成ブレンドと知識フィルタリングによる検索型大規模言語モデルの拡張
- Authors: Haoyu Wang, Tuo Zhao, Jing Gao
- Abstract要約: BlendFilterは、知識フィルタリングと組み合わせたクエリ生成を統合することで、検索強化された大規模言語モデルを高める新しいアプローチである。
我々は3つのオープンドメイン質問応答ベンチマークで広範な実験を行い、我々の革新的なBlendFilterが最先端のベースラインをはるかに上回っていることを明らかにした。
- 参考スコア(独自算出の注目度): 45.5503646257655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented Large Language Models (LLMs) offer substantial benefits
in enhancing performance across knowledge-intensive scenarios. However, these
methods often face challenges with complex inputs and encounter difficulties
due to noisy knowledge retrieval, notably hindering model effectiveness. To
address this issue, we introduce BlendFilter, a novel approach that elevates
retrieval-augmented LLMs by integrating query generation blending with
knowledge filtering. BlendFilter proposes the blending process through its
query generation method, which integrates both external and internal knowledge
augmentation with the original query, ensuring comprehensive information
gathering. Additionally, our distinctive knowledge filtering module capitalizes
on the intrinsic capabilities of the LLM, effectively eliminating extraneous
data. We conduct extensive experiments on three open-domain question answering
benchmarks, and the findings clearly indicate that our innovative BlendFilter
surpasses state-of-the-art baselines significantly.
- Abstract(参考訳): Retrieval-augmented Large Language Models (LLMs)は、知識集約型シナリオのパフォーマンス向上において、大きなメリットを提供する。
しかし、これらの手法は複雑な入力とノイズの多い知識検索による困難に直面することが多く、特にモデルの有効性を阻害する。
この問題に対処するために,クエリ生成と知識フィルタリングの統合により,検索可能なllmを向上させる新しいアプローチであるblendfilterを提案する。
BlendFilter氏は、外部知識と内部知識の両方を元のクエリと統合し、包括的な情報収集を保証するクエリ生成手法によるブレンディングプロセスを提案する。
さらに,LLMの本質的な機能に特有な知識フィルタリングモジュールを付加し,外部データを効果的に除去する。
我々は3つのオープンドメイン質問応答ベンチマークについて広範な実験を行い、我々の革新的なBlendFilterが最先端のベースラインを大幅に超えることを示す。
関連論文リスト
- Wiki-LLaVA: Hierarchical Retrieval-Augmented Generation for Multimodal LLMs [39.54891426369773]
外部知識を必要とする疑問に答える能力を備えたモデルの提供に注力する。
我々のアプローチはWiki-LLaVAと呼ばれ、マルチモーダル文書の外部知識ソースを統合することを目的としている。
我々は,外部データによる視覚的質問応答に適したデータセットについて広範な実験を行い,その妥当性を実証する。
論文 参考訳(メタデータ) (2024-04-23T18:00:09Z) - LLMs Know What They Need: Leveraging a Missing Information Guided Framework to Empower Retrieval-Augmented Generation [6.676337039829463]
ミス情報ガイド検索抽出パラダイム(MIGRES)を提案する。
欠落した情報の識別を利用して、その後の知識検索を操縦するターゲットクエリを生成する。
複数の公開データセットに対して行われた大規模な実験は、提案したMIGRES法の優位性を明らかにする。
論文 参考訳(メタデータ) (2024-04-22T09:56:59Z) - Retrieve Only When It Needs: Adaptive Retrieval Augmentation for
Hallucination Mitigation in Large Language Models [73.93616728895401]
幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。
本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-16T11:55:40Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - Adapting LLMs for Efficient, Personalized Information Retrieval: Methods
and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。
本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文 参考訳(メタデータ) (2023-11-21T02:01:01Z) - Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。
FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。
テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-14T18:41:54Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。