論文の概要: SMART-RAG: Selection using Determinantal Matrices for Augmented Retrieval

• arxiv url: http://arxiv.org/abs/2409.13992v1
• Date: Sat, 21 Sep 2024 03:03:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:17:38.589935
• Title: SMART-RAG: Selection using Determinantal Matrices for Augmented Retrieval
• Title（参考訳）: SMART-RAG: Augmented Retrievalのための行列行列を用いた選択
• Authors: Jiatao Li, Xinyu Hu, Xiaojun Wan,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)を大幅に改善し、正確で文脈に根ざした応答を生成する。 RAGアプローチは、クエリコンテキストの関連性のみに基づくトップランクのドキュメントを優先し、冗長性と矛盾する情報をしばしば導入する。 本稿では,RAGにおける文脈選択の最適化を目的とした,教師なしおよびトレーニング不要なフレームワークであるRAG(Mathrices for Augmented Retrieval)によるタスク応答のための選択を提案する。
• 参考スコア（独自算出の注目度）: 40.17823569905232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has greatly improved large language models (LLMs) by enabling them to generate accurate, contextually grounded responses through the integration of external information. However, conventional RAG approaches, which prioritize top-ranked documents based solely on query-context relevance, often introduce redundancy and conflicting information. This issue is particularly evident in unsupervised retrieval settings, where there are no mechanisms to effectively mitigate these problems, leading to suboptimal context selection. To address this, we propose Selection using Matrices for Augmented Retrieval (SMART) in question answering tasks, a fully unsupervised and training-free framework designed to optimize context selection in RAG. SMART leverages Determinantal Point Processes (DPPs) to simultaneously model relevance, diversity and conflict, ensuring the selection of potentially high-quality contexts. Experimental results across multiple datasets demonstrate that SMART significantly enhances QA performance and surpasses previous unsupervised context selection methods, showing a promising strategy for RAG.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、外部情報の統合によって正確で文脈に根ざした応答を生成することで、大きな言語モデル(LLM)を大幅に改善した。 しかし、従来のRAGアプローチでは、クエリコンテキストの関連性のみに基づく上位文書の優先順位付けが行われ、冗長性や矛盾する情報が導入されることが多い。 この問題は、これらの問題を効果的に緩和するメカニズムがなく、最適でない文脈選択につながる、教師なしの検索設定において特に顕著である。 そこで本稿では,RAGにおける文脈選択の最適化を目的とした,教師なしかつトレーニング不要なフレームワークであるSMART(Mathrices for Augmented Retrieval)を提案する。 SMARTは、DPP(Determinantal Point Processs)を利用して、関連性、多様性、競合を同時にモデル化し、潜在的に高品質なコンテキストの選択を保証する。 複数のデータセットにまたがる実験結果から、SMARTはQA性能を大幅に向上し、以前の教師なしコンテキスト選択手法を上回り、RAGにとって有望な戦略を示す。

関連論文リスト

• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning [51.54046200512198]
  Retrieval-augmented Generation (RAG) は、外部の現在の知識を大規模言語モデルに組み込むために広く利用されている。 標準的なRAGパイプラインは、クエリ書き換え、文書検索、文書フィルタリング、回答生成など、いくつかのコンポーネントから構成される。 これらの課題を克服するため,RAGパイプラインを多エージェント協調作業として,各コンポーネントをRLエージェントとして扱うことを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:24:50Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• First Token Probability Guided RAG for Telecom Question Answering [15.854941373238226]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン固有情報を組み込むことにおいて、明確な優位性を示している。 本稿では,通信におけるMultiple Choice Question Answering(MCQA)の課題に対処する,新しいトークン確率ガイド付きRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-11T07:47:31Z)
• Re-ranking the Context for Multimodal Retrieval Augmented Generation [28.63893944806149]
  Retrieval-augmented Generation (RAG)は、文脈内で応答を生成するために外部知識を組み込むことで、大きな言語モデル(LLM)を強化する。 RAGシステムは固有の課題に直面している: (i) 検索プロセスはユーザクエリ(画像、文書など)への無関係なエントリを選択することができ、 (ii) 視覚言語モデルや GPT-4o のようなマルチモーダル言語モデルは、RAG出力を生成するためにこれらのエントリを処理する際に幻覚を与える。 より高度な関連性尺度を用いることで、知識ベースからより関連性の高い項目を選択して排除することにより、検索プロセスを強化することができることを示す。
  論文  参考訳（メタデータ） (2025-01-08T18:58:22Z)
• MAIN-RAG: Multi-Agent Filtering Retrieval-Augmented Generation [34.66546005629471]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクに不可欠なツールであるが、時代遅れや誤った情報の生成に悩まされることが多い。 Retrieval-Augmented Generation (RAG)は、外部のリアルタイム情報検索をLLM応答に組み込むことでこの問題に対処する。 この問題に対処するため,マルチエージェントフィルタ検索検索生成(MAIN-RAG)を提案する。 MAIN-RAGはトレーニング不要なRAGフレームワークで、複数のLCMエージェントを利用して検索した文書のフィルタリングとスコア付けを行う。
  論文  参考訳（メタデータ） (2024-12-31T08:07:26Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Better RAG using Relevant Information Gain [1.5604249682593647]
  大きな言語モデル(LLM)のメモリを拡張する一般的な方法は、検索拡張生成(RAG)である。 本稿では,検索結果の集合に対するクエリに関連する総情報の確率的尺度である,関連情報ゲインに基づく新しい単純な最適化指標を提案する。 RAGシステムの検索コンポーネントのドロップイン置換として使用すると、質問応答タスクにおける最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2024-07-16T18:09:21Z)
• RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。