論文の概要: KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model

• arxiv url: http://arxiv.org/abs/2501.01028v3
• Date: Tue, 14 Jan 2025 15:19:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:25:42.159024
• Title: KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model
• Title（参考訳）: KaLM-Embedding: より強力な埋め込みモデルを実現するための訓練データ
• Authors: Xinshuo Hu, Zifei Shan, Xinping Zhao, Zetian Sun, Zhenyu Liu, Dongfang Li, Shaolin Ye, Xinyuan Wei, Qian Chen, Baotian Hu, Min Zhang,
• Abstract要約: KaLM-Embeddingは、よりクリーンで、より多様な、ドメイン固有のトレーニングデータを活用する一般的な多言語埋め込みモデルである。 我々のモデルは、性能を向上させることが証明された重要な技術で訓練されている。
• 参考スコア（独自算出の注目度）: 21.44468801012118
• License:
• Abstract: As retrieval-augmented generation prevails in large language models, embedding models are becoming increasingly crucial. Despite the growing number of general embedding models, prior work often overlooks the critical role of training data quality. In this work, we introduce KaLM-Embedding, a general multilingual embedding model that leverages a large quantity of cleaner, more diverse, and domain-specific training data. Our model has been trained with key techniques proven to enhance performance: (1) persona-based synthetic data to create diversified examples distilled from LLMs, (2) ranking consistency filtering to remove less informative samples, and (3) semi-homogeneous task batch sampling to improve training efficacy. Departing from traditional BERT-like architectures, we adopt Qwen2-0.5B as the pre-trained model, facilitating the adaptation of auto-regressive language models for general embedding tasks. Extensive evaluations of the MTEB benchmark across multiple languages show that our model outperforms others of comparable size, setting a new standard for multilingual embedding models with <1B parameters.
• Abstract（参考訳）: 検索強化世代が大規模言語モデルで普及するにつれ、埋め込みモデルはますます重要になりつつある。 一般的な埋め込みモデルの増加にもかかわらず、事前の作業はしばしば、データ品質のトレーニングにおける重要な役割を見落としている。 本稿では,多言語埋め込みモデルである KaLM-Embedding を紹介する。 1) LLMから抽出した多種多様なサンプルを作成するためのペルソナベース合成データ,(2)少ない情報化サンプルを除去するためのランキング整合性フィルタリング,(3)訓練効率を向上させるための半均一なタスクバッチサンプリング,である。 従来のBERTのようなアーキテクチャとは別に,Qwen2-0.5Bを事前学習モデルとして採用し,汎用的な埋め込みタスクに自動回帰言語モデルの適応を容易にする。 複数の言語にまたがるMTEBベンチマークの大規模な評価は、我々のモデルが同等の大きさの他のモデルよりも優れており、<1Bパラメータを持つ多言語埋め込みモデルの新しい標準が設定されていることを示している。

関連論文リスト

• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• Smaller Language Models are capable of selecting Instruction-Tuning Training Data for Larger Language Models [39.65879784788677]
  サンプルの学習率に基づいて,新しい学習データ選択を導入する。 現在の言語モデルには、高品質なトレーニングデータを自律的に選択する能力がある、と我々は主張する。 本稿では,データ選択のトレーニングに新たなアプローチを導入し,より効率的な代替手段を示す。
  論文  参考訳（メタデータ） (2024-02-16T03:39:37Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• A Comparative Study of Transformer-Based Language Models on Extractive Question Answering [0.5079811885340514]
  事前訓練された言語モデルをトレーニングし、複数の質問応答データセットでそれらを微調整する。 F1スコアを基準として、RoBERTaとBARTが事前トレーニングされたモデルは、すべてのデータセットで最高のパフォーマンスを発揮します。
  論文  参考訳（メタデータ） (2021-10-07T02:23:19Z)
• Introducing various Semantic Models for Amharic: Experimentation and Evaluation with multiple Tasks and Datasets [19.855120632909124]
  我々はAmharicの異なるセマンティックモデルを導入する。 モデルは word2Vec 埋め込み、分散シソーラス (DT)、コンテキスト埋め込み、DT 埋め込みを使って構築される。 新たに訓練されたモデルは、事前訓練された多言語モデルよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-02T17:48:25Z)
• Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning [70.81910984985683]
  本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。 5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
  論文  参考訳（メタデータ） (2020-04-08T06:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。