論文の概要: MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation

• arxiv url: http://arxiv.org/abs/2412.10313v1
• Date: Fri, 13 Dec 2024 17:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:03:24.195560
• Title: MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation
• Title（参考訳）: MST-R:検索システムのためのマルチステージチューニングとメトリクス評価
• Authors: Yash Malviya, Karan Dhingra, Maneesh Singh,
• Abstract要約: マルチステージチューニング戦略を用いて,検索器の性能を対象領域に適応させるシステムを提案する。 RIRAGチャレンジ用にリリースされたデータセット上で、システムパフォーマンスをベンチマークする。 我々は、RegNLPチャレンジリーダーボードのトップランクを獲得することで、大きなパフォーマンス向上を達成する。
• 参考スコア（独自算出の注目度）: 7.552430488883876
• License:
• Abstract: Regulatory documents are rich in nuanced terminology and specialized semantics. FRAG systems: Frozen retrieval-augmented generators utilizing pre-trained (or, frozen) components face consequent challenges with both retriever and answering performance. We present a system that adapts the retriever performance to the target domain using a multi-stage tuning (MST) strategy. Our retrieval approach, called MST-R (a) first fine-tunes encoders used in vector stores using hard negative mining, (b) then uses a hybrid retriever, combining sparse and dense retrievers using reciprocal rank fusion, and then (c) adapts the cross-attention encoder by fine-tuning only the top-k retrieved results. We benchmark the system performance on the dataset released for the RIRAG challenge (as part of the RegNLP workshop at COLING 2025). We achieve significant performance gains obtaining a top rank on the RegNLP challenge leaderboard. We also show that a trivial answering approach games the RePASs metric outscoring all baselines and a pre-trained Llama model. Analyzing this anomaly, we present important takeaways for future research.
• Abstract（参考訳）: 規制文書は、ニュアンスドの用語学と専門的な意味論に富んでいる。 FRAGシステム: 事前訓練された(あるいは凍結した)コンポーネントを使用した凍結検索拡張ジェネレータは、検索と応答性能の両方で、相応の課題に直面している。 マルチステージチューニング(MST)戦略を用いて,検索器の性能を対象領域に適応させるシステムを提案する。 MST-Rという検索手法 (a)硬い負のマイニングを用いたベクトルストアで使われる最初の微粒エンコーダ (b) ハイブリッドレトリバーを用いて、疎密なレトリバーと疎密なレトリバーを相互の階数融合で結合し、その後、 (c)トップk検索結果のみを微調整することにより、クロスアテンションエンコーダを適応させる。 我々は、RIRAGチャレンジのためにリリースされたデータセット(COING 2025のRegNLPワークショップの一部として)でシステムパフォーマンスをベンチマークする。 我々は、RegNLPチャレンジリーダーボードのトップランクを獲得することで、大きなパフォーマンス向上を達成する。 また、自明な解法では、RePASsメトリックが全てのベースラインと事前学習されたLlamaモデルよりも優れていることを示す。 この異常を解析し、今後の研究に重要なポイントを提示する。

関連論文リスト

• Toward Optimal Search and Retrieval for RAG [39.69494982983534]
  Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。 ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-11-11T22:06:51Z)
• Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [6.773411876899064]
  推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T03:46:43Z)
• FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG [22.4664221738095]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデルにおいて一般的である。 本稿では,RAGの粒度が粗いプログレッシブ検索パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T08:47:21Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• Sequencing Matters: A Generate-Retrieve-Generate Model for Building Conversational Agents [9.191944519634111]
  Georgetown InfoSense GroupはTREC iKAT 2023の課題を解決するために活動している。 提案手法は, 各カット数, 総合成功率において, nDCG において高い性能を示した。 我々のソリューションは、初期回答にLarge Language Models (LLMs) を用いること、BM25による回答基盤、ロジスティック回帰による通過品質フィルタリング、LLMによる回答生成である。
  論文  参考訳（メタデータ） (2023-11-16T02:37:58Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Towards Robust Ranker for Text Retrieval [83.15191578888188]
  ローダは、デファクトの'retrieval & rerank'パイプラインで必須の役割を果たす。 ローダは、デファクトの'retrieval & rerank'パイプラインで必須の役割を果たす。
  論文  参考訳（メタデータ） (2022-06-16T10:27:46Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)
• Overcoming Catastrophic Forgetting with Gaussian Mixture Replay [79.0660895390689]
  ガウス混合モデル(GMM)に基づく連続学習(CL)のためのリハーサルベースアプローチを提案する。 過去のタスクからサンプルを生成し,現在のトレーニングデータと統合することで,破滅的忘れ(cf)を緩和する。 複数の画像データセットでGMRを評価し,クラス別サブタスクに分割する。
  論文  参考訳（メタデータ） (2021-04-19T11:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。