論文の概要: DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search

• arxiv url: http://arxiv.org/abs/2607.27178v1
• Date: Wed, 29 Jul 2026 17:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.768579
• Title: DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search
• Title（参考訳）: DenseOn with the LateOn: マルチ言語、Long-Context、コード検索のための完全なオープンセンスとレイトインタラクションモデル
• Abstract要約: 英語の教師が翻訳学習を通して多言語検索にどのように移行するかを示す。 我々はまず、34の公開ソースにわたる1.4Bペアから665万の英語コントラスト事前学習ペアを再構築し、キュレートした。 検証された英語データを8言語に翻訳し、2.8B対の言語間サンプルを生成する。
• 参考スコア（独自算出の注目度）: 2.0669978569487384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art retrieval models increasingly rely on closed training data, creating a reproducibility gap. We present an open end-to-end recipe for training retrieval models and study how English supervision transfers to multilingual retrieval through translate-train. We first reconstruct and curate 665M English contrastive pre-training pairs from 1.4B pairs across 34 public sources and build 1.88M supervised fine-tuning pairs with mined hard negatives. Training yields two 149M-parameter models: DenseOn, a single-vector dense model, and LateOn, a ColBERT-style late-interaction model. They achieve 56.20 and 57.22 average nDCG@10 on BEIR, respectively, setting new state-of-the-art results for this size class. We then translate the validated English data into eight languages, yielding 2.8B pairs with cross-lingual samples, and train mDenseOn and mLateOn, two 307M-parameter models built on mmBERT-base. Despite sharing their backbone, data, and objectives, their representations behave differently: the dense model is strong on English and translated languages but degrades outside translate-train support, whereas the late-interaction model generalizes better to unseen languages and scripts. This suggests that token-level matching turns translate-train from a target-language expansion strategy into a multilingual generalization recipe. We publicly release the models, datasets, and training code.
• Abstract（参考訳）: 最先端の検索モデルは、クローズドなトレーニングデータにますます依存し、再現可能性のギャップを生じさせています。 本稿では,検索モデルを学習するためのオープン・エンド・ツー・エンドのレシピと,翻訳学習による多言語検索への英語の指導方法について検討する。 まず、34の公開ソースにわたる1.4Bペアから665Mの英語コントラスト事前学習ペアを再構成し、キュレートし、1.88Mの教師付き微調整ペアをマイニングした。 トレーニングでは、シングルベクターの高密度モデルであるDenseOnと、ColBERTスタイルのレイトアクションモデルであるLateOnの2つの149Mパラメータモデルが得られる。 彼らはそれぞれ BEIR 上で 56.20 と 57.22 の平均 nDCG@10 を達成する。 次に、検証済みの英語データを8言語に翻訳し、2.8B対のクロスランガルサンプルを生成し、mDenseOnとmLateOnを訓練する。 濃密なモデルは英語や翻訳言語では強いが、翻訳-トレインサポートの外では低下するが、後期相互作用モデルは見当たらない言語やスクリプトによく似ている。 このことは、トークンレベルのマッチングがターゲット言語の拡張戦略から多言語一般化のレシピへと変換されることを示している。 モデル、データセット、トレーニングコードを公開しています。

関連論文リスト

• Lingua Custodi's participation at the WMT 2025 Terminology shared task [5.028147131913495]
  単言語および言語間表現の学習に最適な方法を組み合わせることで,多言語文の埋め込みを学習する方法を検討する。 事前学習した多言語言語モデルを導入することで,性能向上に必要な並列トレーニングデータの量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:00:47Z)
• Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought [23.847410628315544]
  英語とターゲット言語を切り替える推論スキーマである**Language-Mixed CoT**を紹介する。 我々は6つのファミリー(Qwen2.5、Llama-3.1、Gemma-3など)でNinveモデル(4B-35B)を訓練する。 我々のベストモデル**KO-REAson-35B*は、平均スコア(64.0 pm 25)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-05T14:39:41Z)
• mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
  mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。 データに1700以上の低リソース言語を追加しています。 分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
  論文  参考訳（メタデータ） (2025-09-08T17:08:42Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
  英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。 我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。 英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
  論文  参考訳（メタデータ） (2024-02-01T17:17:55Z)
• Lego-MT: Learning Detachable Models for Massively Multilingual Machine Translation [48.37939354609931]
  そこで我々は,Lego-MTを効果的に分離可能なモデルとして構築する,新しい効率的なトレーニングレシピを提案する。 実験の結果、1.2BパラメータのLego-MTでは平均3.2spBLEUが得られた。 提案したトレーニングレシピは、従来のマルチウェイトレーニング方法よりも28.2$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-12-20T18:54:08Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Language-agnostic BERT Sentence Embedding [14.241717104817713]
  単言語および言語間表現の学習に最適な方法を組み合わせることで,多言語文の埋め込みを学習する方法を検討する。 事前学習した多言語言語モデルを導入することで,性能向上に必要な並列トレーニングデータの量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。