Fugu-MT 論文翻訳(概要): NV-Retriever: Improving text embedding models with effective hard-negative mining

論文の概要: NV-Retriever: Improving text embedding models with effective hard-negative mining

arxiv url: http://arxiv.org/abs/2407.15831v1
Date: Mon, 22 Jul 2024 17:50:31 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 13:41:12.870566
Title: NV-Retriever: Improving text embedding models with effective hard-negative mining
Title（参考訳）: NV-Retriever: 効果的なハードネガティブマイニングによるテキスト埋め込みモデルの改善
Authors: Gabriel de Souza P. Moreira, Radek Osmulski, Mengyao Xu, Ronay Ak, Benedikt Schifferer, Even Oldridge,
Abstract要約: そこで我々は,より効果的な偽陰性除去のために,正の関連性スコアを利用する正の認識マイニング手法のファミリーを提案する。 NV-Retriever-v1 モデルを導入することで提案手法の有効性を実証し,MTEB Retrieval ベンチマークで 60.9 点,従来の手法より 0.65 点高い値を示した。
参考スコア（独自算出の注目度）: 1.8448587047759064
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Text embedding models have been popular for information retrieval applications such as semantic search and Question-Answering systems based on Retrieval-Augmented Generation (RAG). Those models are typically Transformer models that are fine-tuned with contrastive learning objectives. Many papers introduced new embedding model architectures and training approaches, however, one of the key ingredients, the process of mining negative passages, remains poorly explored or described. One of the challenging aspects of fine-tuning embedding models is the selection of high quality hard-negative passages for contrastive learning. In this paper we propose a family of positive-aware mining methods that leverage the positive relevance score for more effective false negatives removal. We also provide a comprehensive ablation study on hard-negative mining methods over their configurations, exploring different teacher and base models. We demonstrate the efficacy of our proposed methods by introducing the NV-Retriever-v1 model, which scores 60.9 on MTEB Retrieval (BEIR) benchmark and 0.65 points higher than previous methods. The model placed 1st when it was published to MTEB Retrieval on July 07, 2024.
Abstract（参考訳）: テキスト埋め込みモデルは、意味探索や質問応答システム(Retrieval-Augmented Generation, RAG)に基づく情報検索に人気がある。これらのモデルは典型的にはトランスフォーマーモデルであり、対照的な学習目的によって微調整される。多くの論文で新しい埋め込みモデルアーキテクチャとトレーニングアプローチが紹介されているが、重要な要素の1つは、負の通路を採掘する過程である。微調整埋め込みモデルの難しい側面の1つは、コントラスト学習のための高品質なハードネガティブパスの選択である。本稿では、より効果的な偽陰性除去のために、正の関連性スコアを利用する正の認識マイニング手法のファミリーを提案する。また,その構成に対する強陰性鉱業法に関する総合的なアブレーション研究を行い,異なる教師と基礎モデルを探索する。 MTEB Retrieval (BEIR) ベンチマークで60.9点, 従来の手法よりも0.65点, NV-Retriever-v1モデルを導入することで, 提案手法の有効性を実証する。このモデルは、2024年7月07日にMTEB Retrievalに発行された際、第1位となった。

関連論文リスト

Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
論文参考訳（メタデータ） (2024-10-18T05:23:39Z)
Alternate Preference Optimization for Unlearning Factual Knowledge in Large Language Models [2.0962367975513496]
機械学習は、特定のトレーニングデータの影響をモデルから効率的に排除することを目的としている。既存の未学習手法は, 無視集合に関連する応答を抑制するために, 負のフィードバックのみに頼っている。本稿では,AltPO(Alternate Preference Optimization)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2024-09-20T13:05:07Z)
Conan-embedding: General Text Embedding with More and Better Negative Samples [30.571206231457932]
より高品質な負例の利用を最大化するコナン埋め込みモデルを提案する。当社のアプローチは,現在,Massiveテキスト埋め込みベンチマークの中国リーダーボードにランクインしている,埋め込みモデルの能力を効果的に向上させる。
論文参考訳（メタデータ） (2024-08-28T11:18:06Z)
Self-Taught Evaluators [77.92610887220594]
本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
論文参考訳（メタデータ） (2024-08-05T17:57:02Z)
RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
論文参考訳（メタデータ） (2024-03-20T17:49:54Z)
GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
論文参考訳（メタデータ） (2024-02-26T18:55:15Z)
Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文参考訳（メタデータ） (2024-01-11T17:56:59Z)
Learning from History: Task-agnostic Model Contrastive Learning for Image Restoration [79.04007257606862]
本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史からの学習」という革新的な手法を提案する。我々のアプローチはMCLIR(Model Contrastive Learning for Image Restoration)と呼ばれ、遅延モデルを負のモデルとして再定義し、多様な画像復元タスクと互換性を持たせる。
論文参考訳（メタデータ） (2023-09-12T07:50:54Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification [76.40417061480564]
本稿では、パートベース可視赤外線人物再識別(VI-ReID)モデルに対して、PartMixと呼ばれる新しいデータ拡張手法を提案する。部分記述子をモダリティに混合することにより、拡張サンプルを合成し、パートベースVI-ReIDモデルの性能を向上させる。
論文参考訳（メタデータ） (2023-04-04T05:21:23Z)
WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
論文参考訳（メタデータ） (2022-02-28T08:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。