Fugu-MT 論文翻訳(概要): Conan-Embedding-v2: Training an LLM from Scratch for Text Embeddings

論文の概要: Conan-Embedding-v2: Training an LLM from Scratch for Text Embeddings

arxiv url: http://arxiv.org/abs/2509.12892v1
Date: Tue, 16 Sep 2025 09:48:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-17 17:50:53.013255
Title: Conan-Embedding-v2: Training an LLM from Scratch for Text Embeddings
Title（参考訳）: Conan-Embedding-v2: テキスト埋め込みのためのスクラッチからLLMのトレーニング
Authors: Shiyu Li, Yang Tang, Ruijie Liu, Shi-Zhe Chen, Xi Chen,
Abstract要約: 大規模言語モデル(LLM)は、最近、テキスト埋め込みタスクにおいて優れたパフォーマンスを示している。本研究では,スクラッチからトレーニングし,テキスト埋め込みとして微調整した新しい1.4BパラメータであるConan-embedding-v2を紹介する。直感的で有効であり、約1.4Bのパラメータしか持たないConan-embedding-v2は、MTEB(Massive Text Embedding Benchmark)と中国のMTEB(2025年5月19日)でSOTA性能を達成する。
参考スコア（独自算出の注目度）: 25.724646707322986
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) have recently demonstrated excellent performance in text embedding tasks. Previous work usually use LoRA to fine-tune existing LLMs, which are limited by the data and training gap between LLMs and embedding models. In this work, we introduce Conan-embedding-v2, a new 1.4B-parameter LLM trained from scratch and fine-tuned as a text embedder. First, we add news data and multilingual pairs for LLM pretraining to bridge the data gap. Based on this, we propose a cross-lingual retrieval dataset that enables the LLM to better integrate embeddings across different languages. Second, whereas LLMs use a causal mask with token-level loss, embedding models use a bidirectional mask with sentence-level loss. This training gap makes full fine-tuning less effective than LoRA. We introduce a soft-masking mechanism to gradually transition between these two types of masks, enabling the model to learn more comprehensive representations. Based on this, we propose a dynamic hard negative mining method that exposes the model to more difficult negative examples throughout the training process. Being intuitive and effective, with only approximately 1.4B parameters, Conan-embedding-v2 achieves SOTA performance on both the Massive Text Embedding Benchmark (MTEB) and Chinese MTEB (May 19, 2025).
Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、テキスト埋め込みタスクにおいて優れたパフォーマンスを示している。従来の作業では、LoRAを使用して既存のLLMを微調整するが、これはLLMと埋め込みモデルの間のデータとトレーニングのギャップによって制限される。本研究では,スクラッチからトレーニングし,テキスト埋め込みとして微調整した新しい1.4BパラメータLLMであるConan-embedding-v2を紹介する。まず、LLM事前学習のためのニュースデータと多言語ペアを追加し、データギャップを埋める。そこで本研究では,LLMが言語間の埋め込みをよりよく統合することのできる言語間検索データセットを提案する。第二に、LLMはトークンレベルの損失を持つ因果マスクを使用するのに対し、埋め込みモデルは文レベルの損失を持つ双方向マスクを使用する。このトレーニングギャップにより、完全な微調整はLoRAよりも効果が低い。これら2種類のマスクを段階的に遷移させるソフトマスキング機構を導入し,より包括的な表現の学習を可能にした。そこで本研究では,トレーニング過程を通じて,より難易度の高い負の例にモデルを露出させる動的ハード負のマイニング手法を提案する。直感的で有効であり、約1.4Bのパラメータしか持たないConan-embedding-v2は、Massive Text Embedding Benchmark(MTEB)と中国のMTEB(2025年5月19日)の両方でSOTA性能を達成する。

関連論文リスト

Multimodal LLMs as Customized Reward Models for Text-to-Image Generation [60.164968941945645]
LLaVA-Rewardは、複数の視点でテキスト・ツー・イメージ(T2I)生成を自動評価する効率的な報酬モデルである。 LLaVA-Rewardはマルチモーダル大言語モデル(MLLM)の隠れ状態を直接利用する LLaVA-Rewardは、テキストイメージアライメント、忠実さ/アーティファクト、安全性、全体的なランク付けの4つの観点でトレーニングします。
論文参考訳（メタデータ） (2025-07-28T23:52:53Z)
LangBridge: Interpreting Image as a Combination of Language Embeddings [64.36674412359778]
LangBridgeは、ビジュアルトークンをテキスト埋め込みの線形結合に明示的にマッピングする新しいアダプタである。以上の結果から,LLaMA3-8BやQwen2.5-14Bといった大型モデルに対して,Qwen2-0.5Bで事前訓練したLangBridgeを直接適用できることが示唆された。
論文参考訳（メタデータ） (2025-03-25T07:24:27Z)
Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
論文参考訳（メタデータ） (2025-01-31T12:23:28Z)
FDLLM: A Dedicated Detector for Black-Box LLMs Fingerprinting [20.07438999071414]
大規模言語モデル(LLM)は、デジタルコンテンツ作成の風景を急速に変えつつある。 FD-Datasetは、20の有名なプロプライエタリおよびオープンソースLLMから90,000のテキストサンプルからなる総合的なバイリンガルフィンガープリントベンチマークである。また,パラメータ効率の低いLow-Rank Adaptation (LoRA) を利用して基礎モデルの微調整を行う新しいフィンガープリント手法であるFDLLMを提案する。
論文参考訳（メタデータ） (2025-01-27T13:18:40Z)
Multi-Grained Patch Training for Efficient LLM-based Recommendation [40.5721110129484]
大言語モデル(LLM)は、相互作用した項目履歴を言語モデリングに変換することで、推奨のための新しいパラダイムとして登場した。 Patch Pre-Training(パッチ)とPatch Fine-tuning(パッチ)という2つの段階からなる多段階のパッチトレーニング手法を提案する。
論文参考訳（メタデータ） (2025-01-25T05:30:58Z)
Text-like Encoding of Collaborative Information in Large Language Models for Recommendation [58.87865271693269]
BinLLMはLarge Language Models for Recommendation (LLMRec)とシームレスに連携する新しい手法である。 BinLLMは、外部モデルからの協調的な埋め込みをバイナリシーケンスに変換する。 BinLLMは、ドット決定記法を用いてバイナリシーケンスを圧縮するオプションを提供し、過度に長い長さを避ける。
論文参考訳（メタデータ） (2024-06-05T12:45:25Z)
LLM Attributor: Interactive Visual Attribution for LLM Generation [29.116016627864095]
Pythonライブラリは、大規模な言語モデルのデータ属性をトレーニングするためのインタラクティブな視覚化を提供する。我々のライブラリは、LCMのテキスト生成をデータポイントのトレーニングに素早く対応させる新しい方法を提供する。
論文参考訳（メタデータ） (2024-04-01T13:16:34Z)
Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文参考訳（メタデータ） (2023-12-24T15:10:35Z)
VILA: On Pre-training for Visual Language Models [74.08039416548209]
ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
論文参考訳（メタデータ） (2023-12-12T18:58:18Z)
mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs [50.17767479660832]
視覚言語モデル(Vision-LLMs)は、事前訓練された画像エンコーダを(凍結した)大型言語モデル(LLMs)とポストホック条件LLMsに整合させ、画像入力を理解する。我々は,マルチ言語LLMを利用した最初のビジョン-LLMであるmBLIPを,コンシューマレベルのハードウェア上で計算的に効率よく提供する。
論文参考訳（メタデータ） (2023-07-13T17:51:58Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。