論文の概要: NV-Retriever: Improving text embedding models with effective hard-negative mining

• arxiv url: http://arxiv.org/abs/2407.15831v2
• Date: Fri, 07 Feb 2025 15:17:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:54:01.667533
• Title: NV-Retriever: Improving text embedding models with effective hard-negative mining
• Title（参考訳）: NV-Retriever: 効果的なハードネガティブマイニングによるテキスト埋め込みモデルの改善
• Authors: Gabriel de Souza P. Moreira, Radek Osmulski, Mengyao Xu, Ronay Ak, Benedikt Schifferer, Even Oldridge,
• Abstract要約: 本稿では, 有効偽陰性除去のためのアンカーとして, 正関連スコアを用いた正対応マイニング手法のファミリーを紹介する。 提案手法の有効性をNV-Retriever-v1モデルを用いて実証した。
• 参考スコア（独自算出の注目度）: 1.8448587047759064
• License:
• Abstract: Text embedding models have been popular for information retrieval applications such as semantic search and Question-Answering systems based on Retrieval-Augmented Generation (RAG). Those models are typically Transformer models that are fine-tuned with contrastive learning objectives. One of the challenging aspects of fine-tuning embedding models is the selection of high quality hard-negative passages for contrastive learning. In this paper we introduce a family of positive-aware mining methods that use the positive relevance score as an anchor for effective false negative removal, leading to faster training and more accurate retrieval models. We provide an ablation study on hard-negative mining methods over their configurations, exploring different teacher and base models. We further demonstrate the efficacy of our proposed mining methods at scale with the NV-Retriever-v1 model, which scores 60.9 on MTEB Retrieval (BEIR) benchmark and placed 1st when it was published to the MTEB Retrieval on July, 2024.
• Abstract（参考訳）: テキスト埋め込みモデルは、意味探索や質問応答システム(Retrieval-Augmented Generation, RAG)に基づく情報検索に人気がある。 これらのモデルは典型的にはトランスフォーマーモデルであり、対照的な学習目的によって微調整される。 微調整埋め込みモデルの難しい側面の1つは、コントラスト学習のための高品質なハードネガティブパスの選択である。 本稿では, 有効偽陰性除去のためのアンカーとして, 正の関連性スコアを用いて, より高速なトレーニングとより正確な検索モデルを提案する。 本研究は, 各種教師および基礎モデルを探索し, その構成に対する強負のマイニング手法に関するアブレーション研究である。 NV-Retriever-v1モデルでは,MTEB Retrieval (BEIR)ベンチマークで60.9点,2024年7月にMTEB Retrievalに公表された時点では1位であった。

関連論文リスト

• Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
  本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。 我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
  論文  参考訳（メタデータ） (2024-10-18T05:23:39Z)
• NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models [38.41524186248607]
  我々はNV-Embedモデルを導入し、アーキテクチャ設計、トレーニング手順、キュレートされたデータセットを取り入れた。 モデルアーキテクチャでは、プール埋め込みを得るための潜在注意層を提案し、連続的に検索と下流タスクの精度を向上する。 トレーニングデータには, 埋込みモデルの性能向上のために, 強負のマイニング, 合成データ生成, 既存の公開データセットを利用する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:45Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification [76.40417061480564]
  本稿では、パートベース可視赤外線人物再識別(VI-ReID)モデルに対して、PartMixと呼ばれる新しいデータ拡張手法を提案する。 部分記述子をモダリティに混合することにより、拡張サンプルを合成し、パートベースVI-ReIDモデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-04-04T05:21:23Z)
• Semi-Supervised Learning Based on Reference Model for Low-resource TTS [32.731900584216724]
  本稿では,ラベル付きターゲットデータに制限があるニューラルネットワークの半教師付き学習手法を提案する。 実験結果から,対象データに制限のある半教師付き学習手法は,音声合成における自然性と頑健性を達成するために,テストデータの音声品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T07:48:07Z)
• WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
  我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
  論文  参考訳（メタデータ） (2022-02-28T08:55:12Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。