論文の概要: Saidzoda-CA-EmbeddingGemma-300M: One Small Embedder for Tajik, Kazakh, Uzbek and Kyrgyz
- arxiv url: http://arxiv.org/abs/2611.11471v1
- Date: Sun, 08 Nov 2026 16:08:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.041233
- Title: Saidzoda-CA-EmbeddingGemma-300M: One Small Embedder for Tajik, Kazakh, Uzbek and Kyrgyz
- Title(参考訳): Saidzoda-CA-EmbeddingGemma-300M:Tajik, Kazakh, Uzbek, Kyrgyz用の小さな埋め込み機
- Abstract要約: 埋め込み機 EmbeddingGemma-300M は、タジク語、カザフ語、ウズベク語、キルギス語におけるベレベレ質問の51.7%から60.8%で最初に正しい通路を見つける。
Saidzoda-CA-EmbeddingGemma-300Mについて述べる。
- 参考スコア(独自算出の注目度): 0.28106259549258145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The small open embedder EmbeddingGemma-300M, used as released, finds the right passage first for only 51.7% to 60.8% of Belebele questions in Tajik, Kazakh, Uzbek and Kyrgyz. We present Saidzoda-CA-EmbeddingGemma-300M, one model for all four languages. It is our Tajik fine-tune of EmbeddingGemma-300M, trained for one more epoch on 279,904 pairs: questions in Kazakh, Uzbek and Kyrgyz that our own language model wrote about source passages, a Tajik refresher, and English and Russian replay. On Belebele, recall@1 rises by 14.4 to 26.0 points in each language, to between 75.2% and 77.7%. Against single-language models trained with the same settings, the one model stays within 2.8 points at recall@1 in Kazakh, Uzbek and Tajik, with overlapping recall@10 intervals, though it also had more training. It keeps the Tajik law recall@10 of its starting point (92.2 against 92.4) but loses 4.4 points of law recall@1. A model trained on one of these languages also improves the others on Belebele, but less than training on them. The model still trails the 560M XLM-RoBERTa embedders on Kazakh, Uzbek and Kyrgyz Belebele: the better of multilingual-e5-large-instruct and BGE-M3, used as released, is 9.4 to 10.2 points ahead at recall@1. Our scores of those released models agree with the published MTEB results within 2.4 points. Russian and English recall@1 fall by 3.0 and 4.2 points.
- Abstract(参考訳): 開放された埋め込み機である EmbeddingGemma-300M は、タジク語、カザフ語、ウズベク語、キルギス語で51.7%から60.8%のベルベレの質問に対して、最初に正しい通路を発見した。
Saidzoda-CA-EmbeddingGemma-300Mについて述べる。
279,904対のペア、カザフ語、ウズベク語、キルギスの質問に対して、私たちの言語モデルはソースパス、タジク語リフレッシュ語、英語とロシア語のリプレイについて書いています。
ベレベレでは、リコール@1が各言語で14.4から26.0ポイント上昇し、75.2%から77.7%となった。
同じ設定でトレーニングされた単一言語モデルに対して、1つのモデルはカザフ語、ウズベク語、タジク語でリコール@1の2.8ポイント以内に留まり、オーバーラップするリコール@10インターバルもあった。
タジク法リコールの開始点(92.2対92.4)は維持しているが、法律リコールの4.4ポイントは失われている。
これらの言語の1つで訓練されたモデルは、ベレベレの他の言語も改善するが、それらで訓練するよりも少ない。
モデルはまだ、カザフ語、ウズベク語、キルギス・ベレベレ語の560M XLM-RoBERTa埋め込みを踏襲している。
発表したMTEBのスコアは2.4ポイント以内で一致した。
ロシア語と英語のリコール@1は3.0ポイントと4.2ポイント減った。
関連論文リスト
- Saidzoda-Tajik-EmbeddingGemma-300M: Knowing Every Letter Is Not Reading Tajik [0.28106259549258145]
235,140の質問文と通訳ペアを、法律、税制文書、ウィキペディア、ウェブテキストのために、我々のタジク語モデルによって記述した。
ベレベレではリコール@10が69.8%から92.6%に上昇し、最初の結果は51.7%ではなく76.6%の質問に対して正しい。
論文 参考訳(メタデータ) (2026-11-08T08:59:36Z) - Adapting Qwen3 to Tajik from 0.6B to 8B: Lower Text Loss Did Not Mean Better Understanding [0.2621533844622817]
小さなLoRAはタジックニュースのアダプタを訓練し、書籍はQwen3のタジックテキストの損失を試行錯誤した。
8Bでは、約3億7500万のタジク文字のトークンを事前訓練し続け、その後ベレベレの9.9ポイントを獲得した。
Qwen3-0.6B-Baseに適用されるのと同じ重いレシピは、本のみの事前トレーニング後に8Bモデルに近いテキスト損失をもたらした。
論文 参考訳(メタデータ) (2026-11-04T07:08:21Z) - Saidzoda-Tajik-E5-Large: Fine-Tuning a 560M Embedder for Tajik Retrieval [0.28106259549258145]
We present Saidzoda-Tajik-E5-Large, a Tajik text embeder built from multilingual-e5-large-instruct。
私たちは、タジク語モデルに、タジク語法、税制文書、ウィキペディア、ウェブテキストからの引用に関する質問を書くよう依頼します。
モデルがこれまで見たことのない法律では、93.6%の質問に対して、正しいパスがトップ10に入る。
論文 参考訳(メタデータ) (2026-10-31T03:41:43Z) - SozKZ: Training Efficient Small Language Models for Kazakh from Scratch [0.0]
SozKZは、90億のカザフ文字のトークンをゼロからトレーニングしたLlama-architecture言語モデルのファミリーである。
MC QAの精度は22.8%から30.3%に向上した。
結果として、スクラッチからトレーニングされた小さな専用モデルが、低リソースの言語技術に実行可能なパスを提供することを示す。
論文 参考訳(メタデータ) (2026-03-21T15:23:55Z) - Sherkala-Chat: Building a State-of-the-Art LLM for Kazakh in a Moderately Resourced Setting [72.49939766691763]
Sherkala-Chat (8B) は、カザフ語話者向けに設計された命令調整されたオープン生成型大言語モデル(LLM)である。
LLaMA-3.1-8Bモデルに適応したシェルカラ・チャット (8B) はカザフ語、英語、ロシア語、トルコ語で45.3Bのトークンで訓練されている。
論文 参考訳(メタデータ) (2025-03-03T13:05:48Z) - KazMMLU: Evaluating Language Models on Kazakh, Russian, and Regional Knowledge of Kazakhstan [35.02482209366835]
KazMMLUは、カザフ語用に特別に設計された最初のMMLUスタイルのデータセットである。
STEM、人文科学、社会科学など、様々な教育レベルをカバーする23,000の質問が含まれている。
データセットには10,969のカザフスタン質問と12,031のロシア質問が含まれている。
論文 参考訳(メタデータ) (2025-02-18T12:48:37Z) - Qwen2 Technical Report [141.0766756297144]
本稿では,我々の大規模言語モデルと大規模マルチモーダルモデルへの最新の追加であるQwen2シリーズを紹介する。
Qwen2は、前身のQwen1.5を含む、これまでのほとんどのオープンウェイトモデルを超え、プロプライエタリモデルと比較して競争力のある性能を示している。
Qwen2は、英語、中国語、スペイン語、フランス語、ドイツ語、アラビア語、ロシア語、韓国語、日本語、タイ語、ベトナム語など、約30の言語で熟練した堅牢な多言語機能を示している。
論文 参考訳(メタデータ) (2024-07-15T12:35:42Z) - Vega-MT: The JD Explore Academy Translation System for WMT22 [67.71016343958556]
言語ペアとモデルサイズという2つの主要な要因をスケールアップすることで、これまでの作業の限界を押し上げます。
第1位はZh-En(45.1)、En-Zh(61.7)、De-En(58.0)、En-De(63.2)、Cs-En(74.7)、Ru-En(64.9)、En-Ru(69.6)、En-Ja(65.1)、En-Cs(95.3)、Ja-En(40.6)である。
論文 参考訳(メタデータ) (2022-09-20T03:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。