論文の概要: Saidzoda-Tajik-EmbeddingGemma-300M: Knowing Every Letter Is Not Reading Tajik
- arxiv url: http://arxiv.org/abs/2611.11243v1
- Date: Sun, 08 Nov 2026 08:59:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.96753
- Title: Saidzoda-Tajik-EmbeddingGemma-300M: Knowing Every Letter Is Not Reading Tajik
- Title(参考訳): Saidzoda-Tajik-EmbeddingGemma-300M:すべての文字がタジク文字を読んでいないことを知る
- Abstract要約: 235,140の質問文と通訳ペアを、法律、税制文書、ウィキペディア、ウェブテキストのために、我々のタジク語モデルによって記述した。
ベレベレではリコール@10が69.8%から92.6%に上昇し、最初の結果は51.7%ではなく76.6%の質問に対して正しい。
- 参考スコア(独自算出の注目度): 0.28106259549258145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: EmbeddingGemma-300M is a small open embedder whose tokenizer represents every Tajik letter, and as released it is weak at Tajik retrieval: on our Tajik law test the right passage is in its top ten results for 49.3% of questions, on tax documents for 45.9%, and on the human-written Belebele Tajik set for 69.8%, against 98.6% on the Russian version of the same set. We present Saidzoda-Tajik-EmbeddingGemma-300M, the same model fully fine-tuned for one epoch on 235,140 question and passage pairs written by our own Tajik language model for laws, tax documents, Wikipedia and web text, with the same mined hard negatives, English and Russian replay, loss, global batch, learning rate and epoch as our earlier Saidzoda-Tajik-E5-Large (arXiv:2611.00592) and BGE-M3 models. After training, law reaches 92.4% and tax 91.7%; on Belebele, the one test written by people, recall@10 rises from 69.8% to 92.6% and the first result is right for 76.6% of questions instead of 51.7%. A checkpoint at step 100 of 466 already holds 88% of the law gain at recall@10. At recall@10 the result is no more than 2.8 points below the two 560M models trained on the same pairs on law, tax and Wikipedia, within the intervals, with 768-dimensional vectors and about half their parameters; at recall@1, for which we have no intervals, it stays 7.0 points behind the E5 model on Belebele. The cost is a drop of 3.0 and 2.8 points in Russian and English recall@1, larger than for the two earlier models. We also report that, according to our run notes, a bfloat16 test run produced a non-finite loss at step 3 which the training framework logged as zero, so training was done in fp32. Our generated test questions come from the same model as the training questions, so we treat those scores as an upper limit until questions written by Tajik speakers exist.
- Abstract(参考訳): エンベディング・ジェマ-300Mはタジク文字を全て表わす小さなオープンな埋め込み機であり、タジク検索では弱い:我々の法律試験では、右の通路は49.3%の質問でトップ10にランクされ、45.9%の税務書類、そして人書きのベレベレ・タジクでは69.8%、同じセットでは98.6%である。
235,140 質問文,ウィキペディア,および Web テキストに対して,我々のタジク語モデルで書かれた235,140 質問文と通過文のペアを,前回のSaidzoda-Tajik-E5-Large (arXiv:2611.00592) と BGE-M3 モデルと同一のハードネガティブ,英語とロシア語のリプレイ,損失,グローバルバッチ,学習率,エポックで記述した。
ベレベレではリコール@10が69.8%から92.6%に上昇し、最初の結果は51.7%ではなく76.6%の質問に対して正しい。
466のステップ100のチェックポイントは、recall@10ですでに88%の法的利得を保有している。
recall@10では、結果は、法律、税、ウィキペディアで同じペアで訓練された2つの560万モデルより2.8ポイント以下で、768次元のベクトルと約半分のパラメータを持つ。
コストはロシア語と英語のリコール@1で3.0と2.8ポイント低下し、以前の2モデルよりも大きくなった。
また、実行ノートによると、bfloat16テスト実行はステップ3で無期限の損失を発生させ、トレーニングフレームワークは0として記録されたため、fp32でトレーニングが行われた。
生成したテスト質問は,トレーニング質問と同じモデルから得られるので,タジク語話者による質問が存在するまで,これらのスコアを上限として扱う。
関連論文リスト
- Saidzoda-CA-EmbeddingGemma-300M: One Small Embedder for Tajik, Kazakh, Uzbek and Kyrgyz [0.28106259549258145]
埋め込み機 EmbeddingGemma-300M は、タジク語、カザフ語、ウズベク語、キルギス語におけるベレベレ質問の51.7%から60.8%で最初に正しい通路を見つける。
Saidzoda-CA-EmbeddingGemma-300Mについて述べる。
論文 参考訳(メタデータ) (2026-11-08T16:08:23Z) - Adapting Qwen3 to Tajik from 0.6B to 8B: Lower Text Loss Did Not Mean Better Understanding [0.2621533844622817]
小さなLoRAはタジックニュースのアダプタを訓練し、書籍はQwen3のタジックテキストの損失を試行錯誤した。
8Bでは、約3億7500万のタジク文字のトークンを事前訓練し続け、その後ベレベレの9.9ポイントを獲得した。
Qwen3-0.6B-Baseに適用されるのと同じ重いレシピは、本のみの事前トレーニング後に8Bモデルに近いテキスト損失をもたらした。
論文 参考訳(メタデータ) (2026-11-04T07:08:21Z) - Saidzoda-Tajik-E5-Large: Fine-Tuning a 560M Embedder for Tajik Retrieval [0.28106259549258145]
We present Saidzoda-Tajik-E5-Large, a Tajik text embeder built from multilingual-e5-large-instruct。
私たちは、タジク語モデルに、タジク語法、税制文書、ウィキペディア、ウェブテキストからの引用に関する質問を書くよう依頼します。
モデルがこれまで見たことのない法律では、93.6%の質問に対して、正しいパスがトップ10に入る。
論文 参考訳(メタデータ) (2026-10-31T03:41:43Z) - Saidzoda-Tajik-LFM-2.6B: Adapting a 2.6B Hybrid Model to Tajik Tool Calling, and What Continued Pretraining Takes Away [0.28106259549258145]
Saidzoda-Tajik-LFM-2.6Bはタジク語でのツールコール用に開発された。
BFCL v3とマシンでタジクに変換された174イテムのツールコールテストセットでは、タジクの厳密なフルコール精度はベースモデルの20.69から64.14に上昇した。
ツールコール以外では、タジクの知識ベンチマークの精度は28.0から35.0に上昇し、ベレベレ・タジクは大きな変化を示さず、英語のMMLUは60.8から52.5に低下する。
論文 参考訳(メタデータ) (2026-10-30T11:06:30Z) - OpenTWBench (Open Taiwan Benchmark): Taiwan-Domain Knowledge Evaluation for Large Language Models, and How the Measurement Apparatus Shapes the Score [2.270901425955459]
本稿では,大規模言語モデルにおける台湾ドメイン知識のオープン評価スイートであるOpenTWBenchを紹介する。
Tw-exam-benchには、台湾の試験の15年間の公開データから、148人を対象に255,854の4項目の質問が含まれている。
tw-formosa-benchには1,696の難問が含まれている。
論文 参考訳(メタデータ) (2026-10-14T09:18:47Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳(メタデータ) (2026-05-21T17:42:07Z) - RuozhiBench: Evaluating LLMs with Logical Fallacies and Misleading Premises [41.39610589639382]
本稿では,677質問を慎重に整理したデータセットであるRuozhiBenchについて紹介する。
我々は,LuozhiBench上の5シリーズから17の大規模言語モデル (LLM) を評価する。
LLMは論理的誤りを検出・推論する能力に限界を示し、最も優れたモデルであるClaude-3-haikuでさえも90%以上のヒトと比較して62%の精度しか達成できなかった。
論文 参考訳(メタデータ) (2025-02-18T18:47:11Z) - Benchmarks Underestimate the Readiness of Multi-lingual Dialogue Agents [39.92509218078164]
テキスト内学習が多言語TODに取り組むのに十分であることを示す。
我々は、中国語、英語、フランス語、韓国語、ヒンディー語、およびコードミキシングされたヒンディー語に12のドメインを持つ多言語TODデータセットX-RiSAWOZのアプローチを検証した。
論文 参考訳(メタデータ) (2024-05-28T05:33:13Z) - Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。
拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文 参考訳(メタデータ) (2024-03-07T18:00:40Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳(メタデータ) (2021-12-20T16:52:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。