論文の概要: MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation

• arxiv url: http://arxiv.org/abs/2412.10313v1
• Date: Fri, 13 Dec 2024 17:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:24.195560
• Title: MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation
• Title（参考訳）: MST-R:検索システムのためのマルチステージチューニングとメトリクス評価
• Authors: Yash Malviya, Karan Dhingra, Maneesh Singh,
• Abstract要約: マルチステージチューニング戦略を用いて,検索器の性能を対象領域に適応させるシステムを提案する。 RIRAGチャレンジ用にリリースされたデータセット上で、システムパフォーマンスをベンチマークする。 我々は、RegNLPチャレンジリーダーボードのトップランクを獲得することで、大きなパフォーマンス向上を達成する。
• 参考スコア（独自算出の注目度）: 7.552430488883876
• License:
• Abstract: Regulatory documents are rich in nuanced terminology and specialized semantics. FRAG systems: Frozen retrieval-augmented generators utilizing pre-trained (or, frozen) components face consequent challenges with both retriever and answering performance. We present a system that adapts the retriever performance to the target domain using a multi-stage tuning (MST) strategy. Our retrieval approach, called MST-R (a) first fine-tunes encoders used in vector stores using hard negative mining, (b) then uses a hybrid retriever, combining sparse and dense retrievers using reciprocal rank fusion, and then (c) adapts the cross-attention encoder by fine-tuning only the top-k retrieved results. We benchmark the system performance on the dataset released for the RIRAG challenge (as part of the RegNLP workshop at COLING 2025). We achieve significant performance gains obtaining a top rank on the RegNLP challenge leaderboard. We also show that a trivial answering approach games the RePASs metric outscoring all baselines and a pre-trained Llama model. Analyzing this anomaly, we present important takeaways for future research.
• Abstract（参考訳）: 規制文書は、ニュアンスドの用語学と専門的な意味論に富んでいる。 FRAGシステム: 事前訓練された(あるいは凍結した)コンポーネントを使用した凍結検索拡張ジェネレータは、検索と応答性能の両方で、相応の課題に直面している。 マルチステージチューニング(MST)戦略を用いて,検索器の性能を対象領域に適応させるシステムを提案する。 MST-Rという検索手法 (a)硬い負のマイニングを用いたベクトルストアで使われる最初の微粒エンコーダ (b) ハイブリッドレトリバーを用いて、疎密なレトリバーと疎密なレトリバーを相互の階数融合で結合し、その後、 (c)トップk検索結果のみを微調整することにより、クロスアテンションエンコーダを適応させる。 我々は、RIRAGチャレンジのためにリリースされたデータセット(COING 2025のRegNLPワークショップの一部として)でシステムパフォーマンスをベンチマークする。 我々は、RegNLPチャレンジリーダーボードのトップランクを獲得することで、大きなパフォーマンス向上を達成する。 また、自明な解法では、RePASsメトリックが全てのベースラインと事前学習されたLlamaモデルよりも優れていることを示す。 この異常を解析し、今後の研究に重要なポイントを提示する。

関連論文リスト

• Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning [51.54046200512198]
  Retrieval-augmented Generation (RAG) は、外部の現在の知識を大規模言語モデルに組み込むために広く利用されている。 標準的なRAGパイプラインは、クエリ書き換え、文書検索、文書フィルタリング、回答生成など、いくつかのコンポーネントから構成される。 これらの課題を克服するため,RAGパイプラインを多エージェント協調作業として,各コンポーネントをRLエージェントとして扱うことを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:24:50Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Inference Scaling for Bridging Retrieval and Augmented Generation [47.091086803980765]
  大規模言語モデル(LLM)の出力を操る一般的なアプローチとして、検索拡張世代(RAG)が登場している。 このようなバイアスは、推論スケーリングから、検索されたコンテキストの置換順序からの推論呼び出しの集約まで緩和可能であることを示す。 ROUGE-L は MS MARCO で,EM は HotpotQA ベンチマークで 7 ポイント向上した。
  論文  参考訳（メタデータ） (2024-12-14T05:06:43Z)
• Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [6.773411876899064]
  推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T03:46:43Z)
• FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG [22.4664221738095]
  広く使われている検索パラダイムは、いまだにフラットである。 検索手順を一定の粒度のワンオフ取引として扱う。 本稿では,FunnelRAGと呼ばれるRAGの粒度が粗い進行的検索パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T08:47:21Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。