Fugu-MT 論文翻訳(概要): Better RAG using Relevant Information Gain

論文の概要: Better RAG using Relevant Information Gain

arxiv url: http://arxiv.org/abs/2407.12101v2
Date: Wed, 12 Feb 2025 21:48:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-14 13:46:31.008660
Title: Better RAG using Relevant Information Gain
Title（参考訳）: 関連情報ゲインを用いたRAGの改善
Authors: Marc Pickett, Jeremy Hartman, Ayan Kumar Bhowmick, Raquib-ul Alam, Aditya Vempaty,
Abstract要約: 大きな言語モデル(LLM)のメモリを拡張する一般的な方法は、検索拡張生成(RAG)である。本稿では,検索結果の集合に対するクエリに関連する総情報の確率的尺度である,関連情報ゲインに基づく新しい単純な最適化指標を提案する。 RAGシステムの検索コンポーネントのドロップイン置換として使用すると、質問応答タスクにおける最先端のパフォーマンスが得られる。
参考スコア（独自算出の注目度）: 1.5604249682593647
License:
Abstract: A common way to extend the memory of large language models (LLMs) is by retrieval augmented generation (RAG), which inserts text retrieved from a larger memory into an LLM's context window. However, the context window is typically limited to several thousand tokens, which limits the number of retrieved passages that can inform a model's response. For this reason, it's important to avoid occupying context window space with redundant information by ensuring a degree of diversity among retrieved passages. At the same time, the information should also be relevant to the current task. Most prior methods that encourage diversity among retrieved results, such as Maximal Marginal Relevance (MMR), do so by incorporating an objective that explicitly trades off diversity and relevance. We propose a novel simple optimization metric based on relevant information gain, a probabilistic measure of the total information relevant to a query for a set of retrieved results. By optimizing this metric, diversity organically emerges from our system. When used as a drop-in replacement for the retrieval component of a RAG system, this method yields state-of-the-art performance on question answering tasks from the Retrieval Augmented Generation Benchmark (RGB), outperforming existing metrics that directly optimize for relevance and diversity.
Abstract（参考訳）: 大きな言語モデル(LLM)のメモリを拡張する一般的な方法は、より大きなメモリから取得したテキストをLLMのコンテキストウィンドウに挿入する検索拡張生成(RAG)である。しかし、コンテキストウィンドウは通常数千のトークンに制限されており、モデルが応答したことを知らせる検索されたパスの数を制限する。このため,検索したパス間の多様性の度合いを確保することにより,冗長な情報によるコンテキストウィンドウの占有を回避することが重要である。同時に、情報は現在のタスクにも関係するべきです。 MMR(Maximal Marginal Relevance)のような、得られた結果の多様性を促進する最も以前の手法は、多様性と妥当性を明確に取り除く目的を組み込むことによって実現している。本稿では,検索結果の集合に対するクエリに関連する総情報の確率的尺度である,関連情報ゲインに基づく新しい単純な最適化指標を提案する。この計量を最適化することで、多様性は我々のシステムから有機的に現れる。 RAGシステムの検索コンポーネントのドロップイン置換として使用すると、RGB(Retrieval Augmented Generation Benchmark)から質問応答タスクの最先端性能が得られ、妥当性と多様性を直接最適化する既存の指標よりも優れる。

関連論文リスト

Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文参考訳（メタデータ） (2025-02-18T12:00:47Z)
Diversity Enhances an LLM's Performance in RAG and Long-context Task [4.7453434832618395]
一般的なアプローチは、クエリに最も近いコンテンツを選択することである。これはしばしば冗長性と、多様だが関連する情報の排除につながる。その結果,多様性を取り入れることで,関連文やチャンクの選択のリコールが大幅に増加することが明らかとなった。
論文参考訳（メタデータ） (2025-02-13T07:11:01Z)
Re-ranking the Context for Multimodal Retrieval Augmented Generation [28.63893944806149]
Retrieval-augmented Generation (RAG)は、文脈内で応答を生成するために外部知識を組み込むことで、大きな言語モデル(LLM)を強化する。 RAGシステムは固有の課題に直面している: (i) 検索プロセスはユーザクエリ(画像、文書など)への無関係なエントリを選択することができ、 (ii) 視覚言語モデルや GPT-4o のようなマルチモーダル言語モデルは、RAG出力を生成するためにこれらのエントリを処理する際に幻覚を与える。より高度な関連性尺度を用いることで、知識ベースからより関連性の高い項目を選択して排除することにより、検索プロセスを強化することができることを示す。
論文参考訳（メタデータ） (2025-01-08T18:58:22Z)
Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
論文参考訳（メタデータ） (2024-12-20T06:58:32Z)
VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
論文参考訳（メタデータ） (2024-12-14T06:24:55Z)
Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism [2.919891871101241]
変換器は入力サイズと計算複雑性の2次スケーリングを持つ。 Retrieval-augmented Generation (RAG)は、検索システムを使用することで、より長いコンテキストを処理できる。インナーループメモリ拡張ツリー検索(ILM-TR)という新しい手法を導入する。
論文参考訳（メタデータ） (2024-10-11T19:49:05Z)
Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
論文参考訳（メタデータ） (2024-10-11T14:03:29Z)
Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
論文参考訳（メタデータ） (2024-07-01T15:53:29Z)
CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文参考訳（メタデータ） (2024-01-30T14:25:32Z)
Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。本稿では,高密度検索のための新しい検索ユニット,命題を提案する。実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
論文参考訳（メタデータ） (2023-12-11T18:57:35Z)
Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。