論文の概要: OPERA: Online Data Pruning for Efficient Retrieval Model Adaptation

• arxiv url: http://arxiv.org/abs/2603.17205v1
• Date: Tue, 17 Mar 2026 23:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.439566
• Title: OPERA: Online Data Pruning for Efficient Retrieval Model Adaptation
• Title（参考訳）: OPERA: 効率的な検索モデル適応のためのオンラインデータプルーニング
• Authors: Haoyang Fang, Shuai Zhang, Yifei Ma, Hengyi Wang, Cuixiong Hu, Katrin Kirchhoff, Bernie Wang, George Karypis,
• Abstract要約: ドメイン固有の微調整は、高密度レトリバーにとって不可欠であるが、すべてのトレーニングペアが学習プロセスに等しく貢献するわけではない。 我々は、この不均一性を利用して、検索モデル適応の有効性と効率を両立させるデータプルーニングフレームワークであるOPERAを紹介する。
• 参考スコア（独自算出の注目度）: 39.548179971747906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain-specific finetuning is essential for dense retrievers, yet not all training pairs contribute equally to the learning process. We introduce OPERA, a data pruning framework that exploits this heterogeneity to improve both the effectiveness and efficiency of retrieval model adaptation. We first investigate static pruning (SP), which retains only high-similarity query-document pairs, revealing an intrinsic quality-coverage tradeoff: ranking (NDCG) improves while retrieval (Recall) can degrade due to reduced query diversity. To resolve this tradeoff, we propose a two-stage dynamic pruning (DP) strategy that adaptively modulates sampling probabilities at both query and document levels throughout training, prioritizing high-quality examples while maintaining access to the full training set. Evaluations across eight datasets spanning six domains demonstrate the effectiveness of both approaches: SP improves ranking over standard finetuning (NDCG@10 +0.5\%), while DP achieves the strongest performance on both ranking (NDCG@10 +1.9\%) and retrieval (Recall@20 +0.7\%), with an average rank of 1.38 across all methods. These findings scale to Qwen3-Embedding, an LLM-based dense retriever, confirming architecture-agnostic benefits. Notably, DP reaches comparable performance in less than 50\% of the training time required by standard finetuning.
• Abstract（参考訳）: ドメイン固有の微調整は、高密度レトリバーにとって不可欠であるが、すべてのトレーニングペアが学習プロセスに等しく貢献するわけではない。 我々は、この不均一性を利用して、検索モデル適応の有効性と効率を両立させるデータプルーニングフレームワークであるOPERAを紹介する。 まず,高い類似性を持つクエリ-ドキュメントペアのみを保持する静的プルーニング(SP)について検討し,クエリの多様性の低下により検索(リコール)が劣化するのに対して,ランク付け(NDCG)は改善されることを示す。 このトレードオフを解決するため,本手法では,クエリレベルとドキュメントレベルの両方でのサンプリング確率を適応的に調整し,トレーニングセット全体へのアクセスを維持しつつ,高品質な事例を優先する2段階動的プルニング(DP)戦略を提案する。 SPは標準的な微調整(NDCG@10 +0.5\%)よりも格付けを向上し、DPはランク付け(NDCG@10 +1.9\%)と検索(Recall@20 +0.7\%)の両方で最強のパフォーマンスを達成する。 これらの知見は、LLMベースの高密度検索器であるQwen3-Embeddingに拡張され、アーキテクチャに依存しない利点が確認された。 特にDPは、標準的な微調整で必要とされるトレーニング時間の50分の1以下で、同等のパフォーマンスを達成している。

関連論文リスト

• Surgical Post-Training: Cutting Errors, Keeping Knowledge [14.639241720055658]
  手術後の訓練は、学習済みの事前知識を維持しながら推論を効率的に最適化するために設計されたパラダイムである。 4kの修正された数学データペアだけで、SPoTはQwen3-8Bの精度をドメイン内およびOODタスク全体で平均6.2%改善する。
  論文  参考訳（メタデータ） (2026-03-02T10:12:56Z)
• Fine-tuning with RAG for Improving LLM Learning of New Skills [8.825427873545063]
  大規模言語モデル(LLM)エージェントは予測可能な方法で頻繁に失敗する。 本稿では,推論時間検索を蒸留による学習能力に変換する単純なパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-01T19:03:48Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
  Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。 既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。 本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T17:16:26Z)
• Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling [37.01593605084575]
  TAS-Balancedは、効率的なトピック認識クエリとバランスの取れたマージンサンプリング技術です。 本稿では,2つのTRECディープラーニングトラッククエリセットに対して,最先端の低レイテンシ(クエリ毎64ms)を実現するTAS-Balancedトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:49:18Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。