論文の概要: Granite Embedding Multilingual R2 Models
- arxiv url: http://arxiv.org/abs/2605.13521v1
- Date: Wed, 13 May 2026 13:37:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:28.075713
- Title: Granite Embedding Multilingual R2 Models
- Title（参考訳）: 多言語R2モデルのグラファイト埋め込み
- Authors: Parul Awasthy, Aashka Trivedi, Yushu Yang, Ken Barker, Yulong Li, Bhavani Iyer, Martin Franz, Meet Doshi, Riyaz Bhat, Vignesh P, Vishwajeet Kumar, Todd Ward, Abraham Daniels, Rudra Murthy, Madison Lee, Luis Lastras, Jaydeep Sen, Radu Florian,
- Abstract要約: Granite Embedding R2モデルは52言語とプログラミングコードをサポートしている。
言語間および言語間テキスト検索、コード検索、長期ドキュメント検索、推論検索データセットにおける、最先端の全体的なパフォーマンス。
- 参考スコア（独自算出の注目度）: 17.157373416727665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the multilingual Granite Embedding R2 models, a family of encoder-based embedding models for enterprise-scale dense retrieval across 200+ languages. Extending our English-focused R2 release, these models add enhanced support for 52 languages and programming code, a 32,768-token context window (a 64x expansion over R1), and state-of-the-art overall performance across multilingual and cross-lingual text search, code retrieval, long-document search, and reasoning retrieval datasets. The release consists of two bi-encoder models based on the ModernBERT architecture with an expanded multilingual vocabulary: a 311M-parameter full-size, and a 97M-parameter compact model built via model pruning and vocabulary selection that achieves the highest retrieval score of any open multilingual embedding model under 100M parameters. The full-size also supports Matryoshka Representation Learning for flexible embedding dimensionality. Both models are trained on enterprise-appropriate data with governance oversight, and released under the Apache 2.0 license at https://huggingface.co/collections/ibm-granite, designed to support responsible use and enable unrestricted research and enterprise adoption.
- Abstract（参考訳）: エンコーダをベースとしたエンコーダを用いたエンベディングモデルである多言語Granite Embedding R2モデルを導入する。
英語にフォーカスしたR2リリースを拡張して、これらのモデルには52言語とプログラミングコードのサポート強化、32,768のコンテキストウィンドウ(R1よりも64倍拡張)、多言語および言語間テキスト検索、コード検索、長いドキュメント検索、検索データセットの推論といった、最先端の全体的なパフォーマンスが追加されています。
このリリースはModernBERTアーキテクチャに基づく2つのバイエンコーダモデルで構成されており、拡張された多言語語彙を持つ: 311Mパラメーターのフルサイズ、モデルプルーニングとボキャブラリの選択によって構築された97Mパラメーターのコンパクトモデル。
完全なサイズは、フレキシブルな埋め込みディメンタリティのためのMatryoshka Representation Learningもサポートする。
どちらのモデルも、ガバナンスを監督した企業に適したデータに基づいてトレーニングされており、Apache 2.0ライセンスの下でhttps://huggingface.co/collections/ibm-graniteでリリースされている。
関連論文リスト
- Omnilingual MT: Machine Translation for 1,600 Languages [58.66170104105936]
我々は,1600以上の言語をサポートする最初の機械翻訳システムであるOmnilingual Machine Translation (OMT)を提案する。
このスケールは、大規模な公開多言語コーパスと新たに作成されたデータセットを統合する包括的なデータ戦略によって実現されている。
OMTモデルは言語間移動を改善し、1,600の評価において、MTのパズルの「理解」部分を解くのに近づいている。
論文 参考訳（メタデータ） (2026-03-17T09:43:42Z) - Seed-X: Building Strong Multilingual Translation LLM with 7B Parameters [53.59868121093848]
7Bパラメータサイズを持つオープンソースの言語モデル(LLM)のファミリーであるSeed-Xを紹介する。
ベースモデルは、28言語にわたるモノリンガルコンテンツとバイリンガルコンテンツの両方を含む、多種多様な高品質データセットで事前訓練されている。
その後、インストラクションモデルは、Chain-of-Thought(CoT)推論によって翻訳され、強化学習(RL)によりさらに強化され、多様な言語対をまたいだより良い一般化が達成される。
論文 参考訳（メタデータ） (2025-07-18T03:19:43Z) - Language Models on a Diet: Cost-Efficient Development of Encoders for Closely-Related Languages via Additional Pretraining [4.38070902806635]
クロアチア語、セルビア語、ボスニア語、モンテネグロ語のベンチマークを設定しました。
我々は、利用可能な多言語モデルの追加事前学習により、専用のin-scratchモデルに匹敵する性能が得られることを示す。
また、Slovenianの場合、隣接する言語は、最終モデルの性能にほとんど、あるいは全く損なわない追加の事前訓練に含めることができることを示す。
論文 参考訳（メタデータ） (2024-04-08T11:55:44Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z) - Bactrian-X: Multilingual Replicable Instruction-Following Models with
Low-Rank Adaptation [40.695782736177264]
Bactrian-Xは52言語にわたる340万の命令応答対の包括的な多言語並列データセットである。
大規模言語モデルとシームレスに統合可能な軽量なコンポーネントであるローランク適応(LoRA)を用いて,アダプタセットをトレーニングする。
様々な多言語評価設定の実験では、バニラモデルと既存の命令調整モデルの両方において、バクタリアンXによるLoRAベースのトレーニングから派生したモデルが優れていることが示されている。
論文 参考訳（メタデータ） (2023-05-24T10:50:31Z) - mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。
我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。
その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-04-15T13:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。