論文の概要: NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models

• arxiv url: http://arxiv.org/abs/2405.17428v1
• Date: Mon, 27 May 2024 17:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 13:52:58.328324
• Title: NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models
• Title（参考訳）: NV-Embed:ジェネリスト埋め込みモデルとしてのLCMの訓練技術の改善
• Authors: Chankyu Lee, Rajarshi Roy, Mengyao Xu, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping,
• Abstract要約: NV-Embedモデルに様々なアーキテクチャ設計とトレーニング手順を導入する。 我々のモデルは、MTEB(Massive Text Embedding Benchmark)で1位、69.32の最高スコアを記録した。 私たちはこのモデルを、https://face.co/EIR/NV-Embed-v1.comでオープンソース化しました。
• 参考スコア（独自算出の注目度）: 38.41524186248607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoder-only large language model (LLM)-based embedding models are beginning to outperform BERT or T5-based embedding models in general-purpose text embedding tasks, including dense vector-based retrieval. In this work, we introduce the NV-Embed model with a variety of architectural designs and training procedures to significantly enhance the performance of LLM as a versatile embedding model, while maintaining its simplicity and reproducibility. For model architecture, we propose a latent attention layer to obtain pooled embeddings, which consistently improves retrieval and downstream task accuracy compared to mean pooling or using the last <EOS> token embedding from LLMs. To enhance representation learning, we remove the causal attention mask of LLMs during contrastive training. For model training, we introduce a two-stage contrastive instruction-tuning method. It first applies contrastive training with instructions on retrieval datasets, utilizing in-batch negatives and curated hard negative examples. At stage-2, it blends various non-retrieval datasets into instruction tuning, which not only enhances non-retrieval task accuracy but also improves retrieval performance. Combining these techniques, our NV-Embed model, using only publicly available data, has achieved a record-high score of 69.32, ranking No. 1 on the Massive Text Embedding Benchmark (MTEB) (as of May 24, 2024), with 56 tasks, encompassing retrieval, reranking, classification, clustering, and semantic textual similarity tasks. Notably, our model also attains the highest score of 59.36 on 15 retrieval tasks in the MTEB benchmark (also known as BEIR). We will open-source the model at: https://huggingface.co/nvidia/NV-Embed-v1.
• Abstract（参考訳）: デコーダのみの大規模言語モデル (LLM) ベースの埋め込みモデルは、高密度ベクトルベースの検索を含む汎用テキスト埋め込みタスクにおいてBERTやT5ベースの埋め込みモデルよりも優れている。 本研究では,多目的埋め込みモデルとしてのLLMの性能を向上し,そのシンプルさと再現性を維持しつつ,多種多様なアーキテクチャ設計と訓練手順を備えたNV-Embedモデルを提案する。 モデルアーキテクチャでは,LLMからの最後の<EOS>トークンを埋め込んだ場合と比較して,検索および下流タスクの精度を一貫して向上する,プール埋め込みを得るための潜在注意層を提案する。 表現学習の強化を目的として, コントラストトレーニングにおいて, LLMの因果注意マスクを除去する。 モデル学習には2段階のコントラスト命令チューニング手法を導入する。 まず、検索データセットの命令による対照的なトレーニングを適用し、バッチ内陰性とキュレートされたハードネガティブな例を利用する。 ステージ2では、さまざまな非検索データセットを命令チューニングにブレンドし、非検索タスクの精度を向上するだけでなく、検索性能も向上する。 これらの手法を組み合わせることで,NV-Embedモデルは,検索,再分類,分類,クラスタリング,意味的テキスト類似性タスクを含む56のタスクで,MTEB(Massive Text Embedding Benchmark)で1位,69.32のスコアを記録した。 特に,MTEBベンチマーク(BEIR)では,15の検索タスクにおいて59.36の最高スコアを達成した。 私たちはこのモデルを、https://huggingface.co/nvidia/NV-Embed-v1でオープンソース化します。

関連論文リスト

• Rethinking Data Synthesis: A Teacher Model Training Recipe with Interpretation [8.013158752919722]
  大規模言語モデル(LLM)訓練の最近の進歩は、多種多様な高品質な命令データの必要性を強調している。 データ生成のためのモデルを具体的に訓練する方法を検討することにより、 textbfNOMAD というパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2024-10-27T07:38:39Z)
• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  我々は、幅広い下流タスクを扱える普遍的な埋め込みモデルを構築している。 1 MMEB(Massive Multimodal Embedding Benchmark)は、4 つのメタタスク(分類、視覚的質問応答、マルチモーダル検索、視覚的グラウンド)と36 つのデータセット(20 のトレーニングと16 の評価データセットを含む)と、2 の VLM2Vec (Vision-Language Model -> Vector) を含む。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Pooling And Attention: What Are Effective Designs For LLM-Based Embedding Models? [18.990655668481075]
  我々は,最後の層だけでなく,すべての隠蔽層の出力を横断的ネットワークを用いて変換する,新しいプーリング戦略であるMulti-Layers Trainable Poolingを提案する。 本稿では,LLMをベースとした埋め込みモデルの効果的なトレーニング戦略について述べる。
  論文  参考訳（メタデータ） (2024-09-04T14:01:48Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。