論文の概要: An Analysis of Hyper-Parameter Optimization Methods for Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2505.03452v2
• Date: Tue, 10 Jun 2025 09:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:39.962395
• Title: An Analysis of Hyper-Parameter Optimization Methods for Retrieval Augmented Generation
• Title（参考訳）: 検索拡張生成のためのハイパーパラメータ最適化手法の解析
• Authors: Matan Orbach, Ohad Eytan, Benjamin Sznajder, Ariel Gera, Odellia Boni, Yoav Kantor, Gal Bloch, Omri Levy, Hadas Abraham, Nitzan Barzilay, Eyal Shnarch, Michael E. Factor, Shila Ofek-Koifman, Paula Ta-Shma, Assaf Toledo,
• Abstract要約: 本稿では,5つのドメインから5つのデータセットにまたがる5つのHPOアルゴリズムに関する総合的研究について述べる。 本研究は,3つの評価指標を最適化対象として,現在検討されている最大規模のHPO検索空間について検討する。 結果から,RAG HPOは無作為にもランダム検索でも効率的に行うことができ,全データセットのRAG性能を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 6.98773220458697
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Finding the optimal Retrieval-Augmented Generation (RAG) configuration for a given use case can be complex and expensive. Motivated by this challenge, frameworks for RAG hyper-parameter optimization (HPO) have recently emerged, yet their effectiveness has not been rigorously benchmarked. To address this gap, we present a comprehensive study involving 5 HPO algorithms over 5 datasets from diverse domains, including a new one collected for this work on real-world product documentation. Our study explores the largest HPO search space considered to date, with three evaluation metrics as optimization targets. Analysis of the results shows that RAG HPO can be done efficiently, either greedily or with random search, and that it significantly boosts RAG performance for all datasets. For greedy HPO approaches, we show that optimizing model selection first is preferable to the prevalent practice of optimizing according to RAG pipeline order.
• Abstract（参考訳）: 与えられたユースケースに対して最適な検索拡張生成(RAG)構成を見つけるのは複雑でコストがかかる。 この課題に触発されて、RAGハイパーパラメータ最適化(HPO)フレームワークが最近登場したが、その効果は厳格にベンチマークされていない。 このギャップに対処するために、我々は、現実世界の製品ドキュメントでこの研究のために収集された新しいものを含む、さまざまなドメインから5つのデータセットにまたがる5つのHPOアルゴリズムに関する包括的な研究を示す。 本研究は,3つの評価指標を最適化対象として,現在検討されている最大規模のHPO検索空間について検討する。 結果から,RAG HPOは無作為にもランダム検索でも効率的に行うことができ,全データセットのRAG性能を大幅に向上させることが示された。 Greedy HPO アプローチでは,RAG パイプライン順序に応じてモデル選択を最適化する一般的な手法よりも,まずモデル選択を最適化することが好ましいことを示す。

関連論文リスト

• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• OpenRAG: Optimizing RAG End-to-End via In-Context Retrieval Learning [13.181087031343619]
  本稿では,レトリバーを調整してコンテキスト内の関連性を捉えることで,エンドツーエンドに最適化されたRAGフレームワークであるOpenRAGを紹介する。 幅広いタスクにわたる実験により、OpenRAGは、レトリバーをエンドツーエンドにチューニングすることで、元のレトリバーよりも4.0%の一貫した改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2025-03-11T13:04:05Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Towards Optimizing a Retrieval Augmented Generation using Large Language Model on Academic Data [4.322454918650575]
  本研究では,大規模技術大学における各種研究プログラムを対象としたデータ検索に焦点を当てた。 オープンソース(Llama2、Mistralなど)とクローズドソース(GPT-3.5、GPT-4など)の統合を探ることで、ドメイン固有のコンテキストにおけるRAGフレームワークの適用と最適化に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-13T08:43:37Z)
• Learning to Rank for Multiple Retrieval-Augmented Models through Iterative Utility Maximization [21.115495457454365]
  本稿では,複数検索拡張世代(RAG)エージェントを対象とした統合検索エンジンの設計について検討する。 本稿では,これらのRAGエージェントの検索結果を検索エンジンが生成し,オフラインで検索した文書の品質に関するフィードバックを収集する反復的手法を提案する。 我々は、このアプローチをオンライン環境に適応させ、リアルタイムな個別エージェントのフィードバックに基づいて、検索エンジンがその振る舞いを洗練できるようにする。
  論文  参考訳（メタデータ） (2024-10-13T17:53:50Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
  グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
  論文  参考訳（メタデータ） (2024-03-05T06:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。