論文の概要: Learning to Rank for Multiple Retrieval-Augmented Models through Iterative Utility Maximization

• arxiv url: http://arxiv.org/abs/2410.09942v1
• Date: Sun, 13 Oct 2024 17:53:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 04:03:30.888590
• Title: Learning to Rank for Multiple Retrieval-Augmented Models through Iterative Utility Maximization
• Title（参考訳）: 反復的実用性最大化による複数検索対象モデルのランク付け学習
• Authors: Alireza Salemi, Hamed Zamani,
• Abstract要約: 本稿では,複数検索拡張世代(RAG)エージェントを対象とした統合検索エンジンの設計について検討する。 本稿では,これらのRAGエージェントの検索結果を検索エンジンが生成し,オフラインで検索した文書の品質に関するフィードバックを収集する反復的手法を提案する。 我々は、このアプローチをオンライン環境に適応させ、リアルタイムな個別エージェントのフィードバックに基づいて、検索エンジンがその振る舞いを洗練できるようにする。
• 参考スコア（独自算出の注目度）: 21.115495457454365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the design of a unified search engine to serve multiple retrieval-augmented generation (RAG) agents, each with a distinct task, backbone large language model (LLM), and retrieval-augmentation strategy. We introduce an iterative approach where the search engine generates retrieval results for these RAG agents and gathers feedback on the quality of the retrieved documents during an offline phase. This feedback is then used to iteratively optimize the search engine using a novel expectation-maximization algorithm, with the goal of maximizing each agent's utility function. Additionally, we adapt this approach to an online setting, allowing the search engine to refine its behavior based on real-time individual agents feedback to better serve the results for each of them. Experiments on diverse datasets from the Knowledge-Intensive Language Tasks (KILT) benchmark demonstrates that our approach significantly on average outperforms competitive baselines across 18 RAG models. We also demonstrate that our method effectively ``personalizes'' the retrieval process for each RAG agent based on the collected feedback. Finally, we provide a comprehensive ablation study to explore various aspects of our method.
• Abstract（参考訳）: 本稿では,複数の検索拡張世代(RAG)エージェントにそれぞれ異なるタスク,バックボーン大言語モデル(LLM),検索強化戦略を付与する統合検索エンジンの設計について検討する。 本稿では,これらのRAGエージェントの検索結果を検索エンジンが生成し,オフラインで検索した文書の品質に関するフィードバックを収集する反復的手法を提案する。 このフィードバックは、各エージェントのユーティリティ関数の最大化を目標として、新しい期待最大化アルゴリズムを用いて、検索エンジンを反復的に最適化するために使用される。 さらに,この手法をオンライン環境に適応させることで,リアルタイムな個人エージェントのフィードバックに基づいて,検索エンジンの振る舞いを洗練し,それぞれにより良い結果を提供する。 KILT(Knowledge-Intensive Language Tasks)ベンチマークによる多種多様なデータセットの実験により、我々のアプローチが18のRAGモデルで競合ベースラインをはるかに上回ることを示した。 また,収集したフィードバックに基づいて,各RAGエージェントの検索処理を効果的に「個人化」することが実証された。 最後に,本手法の様々な側面を探求する包括的アブレーション研究について述べる。

関連論文リスト

• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• Optimizing Retrieval-Augmented Generation with Elasticsearch for Enhanced Question-Answering Systems [2.4299671488193497]
  本研究の目的は,大規模言語モデル(LLM)の精度と品質を,検索型拡張生成(RAG)フレームワークに統合することにより改善することである。 この実験では、テストデータセットとしてSQuAD(Stanford Question Answering dataset)バージョン2.0が使用されている。
  論文  参考訳（メタデータ） (2024-10-18T04:17:49Z)
• GenCRF: Generative Clustering and Reformulation Framework for Enhanced Intent-Driven Information Retrieval [20.807374287510623]
  我々は,多種多様な意図を適応的に捉えるための生成クラスタリング・改革フレームワークGenCRFを提案する。 我々はGenCRFが,nDCG@10で従来のクエリ修正SOTAを最大12%上回り,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-09-17T05:59:32Z)
• Retrieval with Learned Similarities [2.729516456192901]
  最先端の検索アルゴリズムは、学習された類似点に移行した。 そこで本研究では,Mixture-of-Logits (MoL) を実証的に実現し,多様な検索シナリオにおいて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-22T08:19:34Z)
• Searching for Best Practices in Retrieval-Augmented Generation [31.438681543849224]
  Retrieval-augmented Generation (RAG) 技術は最新情報の統合に有効であることが証明されている。 本稿では,既存のRAG手法とその潜在的な組み合わせについて検討し,最適なRAG手法を同定する。 我々は、パフォーマンスと効率のバランスをとるRAGをデプロイするためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-01T12:06:34Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Unified Embedding Based Personalized Retrieval in Etsy Search [0.206242362470764]
  グラフ, 変換器, 項ベース埋め込みを終末に組み込んだ統合埋め込みモデルを学習することを提案する。 我々のパーソナライズされた検索モデルは、検索購入率5.58%、サイト全体のコンバージョン率2.63%によって、検索体験を著しく改善する。
  論文  参考訳（メタデータ） (2023-06-07T23:24:50Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing [68.8204255655161]
  異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。 複数のデータ収集にまたがる研究インフラの性能を実証する。 仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
  論文  参考訳（メタデータ） (2021-06-10T15:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。