論文の概要: ML-Embed: Inclusive and Efficient Embeddings for a Multilingual World

• arxiv url: http://arxiv.org/abs/2605.15081v1
• Date: Thu, 14 May 2026 17:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.966189
• Title: ML-Embed: Inclusive and Efficient Embeddings for a Multilingual World
• Title（参考訳）: ML埋め込み:多言語世界のための包括的で効率的な埋め込み
• Authors: Ziyin Zhang, Zihan Liao, Hang Yu, Peng Di, Rui Wang,
• Abstract要約: ML-Embedは、新しいフレームワーク上に構築された包括的で効率的なモデルのスイートである。 言語的な課題に対処するため、我々は多言語データセットをキュレートし、140Mから8Bパラメータまでのモデルのセットをトレーニングする。 透明性への直接的なコミットメントとして、すべてのモデル、データ、コードをリリースします。
• 参考スコア（独自算出の注目度）: 19.088644745246373
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The development of high-quality text embeddings is increasingly drifting toward an exclusionary future, defined by three critical barriers: prohibitive computational costs, a narrow linguistic focus that neglects most of the world's languages, and a lack of transparency from closed-source or open-weight models that stifles research. To dismantle these barriers, we introduce ML-Embed, a suite of inclusive and efficient models built upon a new framework: 3-Dimensional Matryoshka Learning (3D-ML). Our framework addresses the computational challenge with comprehensive efficiency across the entire model lifecycle. Beyond the storage benefits of Matryoshka Representation Learning (MRL) and flexible inference-time depth provided by Matryoshka Layer Learning (MLL), we introduce Matryoshka Embedding Learning (MEL) for enhanced parameter efficiency. To address the linguistic challenge, we curate a massively multilingual dataset and train a suite of models ranging from 140M to 8B parameters. In a direct commitment to transparency, we release all models, data, and code. Extensive evaluation on 430 tasks demonstrates that our models set new records on 9 of 17 evaluated MTEB benchmarks, with particularly strong results in low-resource languages, providing a reproducible blueprint for building globally equitable and computationally efficient AI systems.
• Abstract（参考訳）: 高品質なテキスト埋め込みの開発は、禁止的な計算コスト、世界のほとんどの言語を無視する狭い言語的焦点、研究を妨げるクローズドソースまたはオープンウェイトモデルからの透明性の欠如という、3つの重要な障壁によって定義される排他的未来に向かってますます進んでいる。 これらの障壁を解消するために、新しいフレームワーク上に構築された包括的で効率的なモデルのスイートであるML-Embedを紹介します。 我々のフレームワークは、モデルライフサイクル全体にわたって包括的な効率で計算上の課題に対処します。 MLL(Matryoshka Layer Learning)が提供するMRL(Matryoshka Representation Learning)とフレキシブル推論時間深度(flexible inference-time depth)のストレージメリットに加えて,パラメータ効率の向上を目的としたMEL(Matryoshka Embedding Learning)を導入する。 言語的な課題に対処するため、我々は多言語データセットをキュレートし、140Mから8Bパラメータまでのモデルのセットをトレーニングする。 透明性への直接的なコミットメントとして、すべてのモデル、データ、コードをリリースします。 430タスクに対する広範囲な評価は、我々のモデルが評価されたMTEBベンチマークのうち9つに新しいレコードを設定し、特に低リソース言語で強い結果が得られ、グローバルに公平で計算効率の良いAIシステムを構築するための再現可能な青写真を提供することを示している。

関連論文リスト

• Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework [38.98519875112922]
  視覚言語モデル(VLM)は英語中心のデータに基づいて訓練され、他の言語や文化的な文脈での性能を制限する。 我々は、LLaVA-Next方法論を再現し、適応し、ポーランドのVLMのセットを作成します。 我々は,LLaVA-1.6-una-13Bをポーランド適応MMBenchで+9.5%改善し,高い品質の字幕を生成評価に用いた。
  論文  参考訳（メタデータ） (2026-02-15T09:54:40Z)
• LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data [5.021795689551854]
  LESS (Large Language Model Enhanced Semi-supervised Learning) は、Large Language Models (LLMs) を用いて、アプリ内で生成された擬似ラベルを補正する汎用的なフレームワークである。 マンダリンASRとスペイン語と英語のAST評価で、LESSは一貫して利益を上げている。 私たちはこのレシピをオープンソースとしてリリースし、この分野のさらなる研究を支援しています。
  論文  参考訳（メタデータ） (2025-06-05T03:00:04Z)
• Enhancing Multilingual LLM Pretraining with Model-Based Data Selection [33.68104398807581]
  本稿では,多言語データセットを対象としたモデルベースフィルタリングフレームワークを提案する。 当社のアプローチは透明性、単純さ、効率性を重視しています。 フレームワークを20言語に拡張し、洗練された事前トレーニングデータセットをリリースします。
  論文  参考訳（メタデータ） (2025-02-14T18:42:07Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
  我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
  論文  参考訳（メタデータ） (2024-08-06T18:53:54Z)
• Data-Augmentation-Based Dialectal Adaptation for LLMs [26.72394783468532]
  本稿では, GMUNLPによるVarDial 2024におけるDialect-Copa共有タスクへの参加について述べる。 この課題は、南スラヴ語のマイクロディレクト上での大規模言語モデル(LLM)の常識推論能力を評価することに焦点を当てている。 本稿では,異なるタイプの言語モデルの強みを組み合わせ,データ拡張技術を活用してタスク性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-11T19:15:32Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。