論文の概要: KaLM-Embedding-V2: Superior Training Techniques and Data Inspire A Versatile Embedding Model

• arxiv url: http://arxiv.org/abs/2506.20923v4
• Date: Mon, 29 Sep 2025 01:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 14:13:47.375154
• Title: KaLM-Embedding-V2: Superior Training Techniques and Data Inspire A Versatile Embedding Model
• Title（参考訳）: KaLM-Embedding-V2:Serior Training Techniques and Data Inspire a Versatile Embedding Model
• Authors: Xinping Zhao, Xinshuo Hu, Zifei Shan, Shouzheng Huang, Yao Zhou, Xin Zhang, Zetian Sun, Zhenyu Liu, Dongfang Li, Xinyuan Wei, Youcheng Pan, Yang Xiang, Meishan Zhang, Haofen Wang, Jun Yu, Baotian Hu, Min Zhang,
• Abstract要約: KaLM-Embedding-V2は、汎用的でコンパクトな埋め込みモデルである。 0.5Bのコンパクトなサイズでモデルを実装し,固定長埋め込みを実現する。 トレーニングデータでは, プレトレーニング用20種, 微調整用100種, コントラスト蒸留用100種をキュレートする。
• 参考スコア（独自算出の注目度）: 63.13906424204078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Large Language Models (LLMs)-based text embedding models primarily focus on data scaling or synthesis, yet limited exploration of training techniques and data quality, thereby constraining performance. In this work, we propose KaLM-Embedding-V2, a series of versatile and compact embedding models, systematically incentivizing advanced embedding capability in LLMs by superior training techniques and high-quality data. For model architecture, we implement the models on a 0.5B compact size with simple mean-pooling to produce fixed-length embeddings and remove the causal attention mask to enable fully bidirectional representation learning. For training techniques, we propose a progressive multi-stage training pipeline: pre-training on weakly supervised large-scale datasets, fine-tuning with supervised high-quality datasets, and contrastive distillation with fine-grained soft signals, integrated with focal-style reweighting and online hard-negative mixing to emphasize difficult samples and enrich hard negatives, respectively. For training data, we curate over 20 categories for pre-training and 100 categories for fine-tuning and contrastive distillation, to improve both performance and generalization, leveraging task-specific instructions, hard-negative mining, and example-based multi-class labeling to ensure high quality. Combining these techniques, our KaLM-Embedding-V2 series achieves state-of-the-art performance on the Massive Text Embedding Benchmark, outperforming models of comparable size and rivaling models 3-26x larger, setting a new standard for versatile and compact embedding models under 1B parameters. The code, data, and models will be publicly available to facilitate academic research.
• Abstract（参考訳）: 近年のLLM(Large Language Models)ベースのテキスト埋め込みモデルは、主にデータのスケーリングや合成に重点を置いているが、トレーニング技術やデータ品質の探究は限られており、パフォーマンスが制限されている。 本研究では,LLMの汎用・コンパクトな埋め込みモデルであるKaLM-Embedding-V2を提案する。 モデルアーキテクチャでは、0.5Bのコンパクトなサイズでモデルを実装し、固定長埋め込みを生成し、因果注意マスクを取り除き、完全な双方向表現学習を実現する。 トレーニング技術として、弱教師付き大規模データセットの事前トレーニング、教師付き高品質データセットによる微調整、微粒な軟質信号によるコントラスト蒸留、焦点スタイルの再重み付けとオンラインハード負混合を統合して、それぞれ難易度サンプルの強調、難易度負の強化など、プログレッシブなマルチステージトレーニングパイプラインを提案する。 トレーニングデータでは,20種以上の事前学習用カテゴリと100種以上の微調整蒸留用カテゴリをキュレートし,性能と一般化の両立を図り,タスク固有の指示,強陰性マイニング,サンプルベースのマルチクラスラベリングを活用して高品質な評価を実現する。 これらの技術を組み合わせることで、我々の KaLM-Embedding-V2 シリーズは、Massive Text Embedding Benchmark における最先端のパフォーマンスを実現し、同等の大きさのモデルと競合するモデル3,26倍のモデルの性能を達成し、1B パラメータの下で汎用的でコンパクトな埋め込みモデルの新しい標準を設定できる。 コード、データ、モデルは、学術研究を促進するために公開されます。

関連論文リスト

• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
  オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。 一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。 例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-03T19:00:00Z)
• KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model [27.25688303240741]
  KaLM-Embeddingは、よりクリーンで、より多様な、ドメイン固有のトレーニングデータを活用する一般的な多言語埋め込みモデルである。 我々のモデルは、性能を向上させることが証明された重要な技術で訓練されている。
  論文  参考訳（メタデータ） (2025-01-02T03:17:51Z)
• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  幅広い下流タスクを扱える普遍的な埋め込みを構築する可能性について検討する。 We build a series of VLM2Vec model on SoTA VLMs like Phi-3.5-V, LLaVA-1.6 and evaluate them on MMEB's evaluation split。 以上の結果から,VLM2Vecは既存のマルチモーダル埋め込みモデルよりも10%から20%の絶対的な平均的改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• POINTS: Improving Your Vision-language Model with Affordable Strategies [28.611705477757454]
  視覚言語モデルの最新の進歩を利用して、ロバストなベースラインモデルを訓練する。 我々は、パープレキシティーを用いて事前学習データをフィルタリングし、トレーニングのための最も低いパープレキシティーデータを選択する。 視覚的なインストラクションチューニングでは、さまざまなデータセットでモデルスープを使用して、より多くのデータセットを追加することで、限界的な改善を実現しました。
  論文  参考訳（メタデータ） (2024-09-07T13:41:37Z)
• NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models [38.41524186248607]
  我々はNV-Embedを導入し、アーキテクチャ設計、トレーニング手順、キュレートされたデータセットを取り入れた。 モデルアーキテクチャでは, プール埋め込みを実現するために, 潜時注意層を提案する。 学習アルゴリズムでは,2段階のコントラッシブ・インストラクション・チューニング手法を導入する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:45Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• Smaller Language Models are capable of selecting Instruction-Tuning Training Data for Larger Language Models [39.65879784788677]
  サンプルの学習率に基づいて,新しい学習データ選択を導入する。 現在の言語モデルには、高品質なトレーニングデータを自律的に選択する能力がある、と我々は主張する。 本稿では,データ選択のトレーニングに新たなアプローチを導入し,より効率的な代替手段を示す。
  論文  参考訳（メタデータ） (2024-02-16T03:39:37Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。