論文の概要: KinyaEmbed: Contrastive Sentence Embeddings for Kinyarwanda via Multi-Stage Curriculum Training
- arxiv url: http://arxiv.org/abs/2608.26941v1
- Date: Thu, 27 Aug 2026 10:42:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.358859
- Title: KinyaEmbed: Contrastive Sentence Embeddings for Kinyarwanda via Multi-Stage Curriculum Training
- Title（参考訳）: KinyaEmbed:マルチステージカリキュラムトレーニングによるKinyarwanda用コントラスト文埋め込み
- Abstract要約: 我々はKinyaEmbedについて紹介する。KinyaEmbedは、ルワンダで1200万人以上の人々が話していた形態学的に豊かなバントゥー語であるKinyarwandaの最初の専用文埋め込みモデルである。
LaBSE, mE5-large, OpenAI text-embedding-3-large といった既存の多言語埋め込みモデルは, 事前学習コーパスの過小評価のため, Kinyarwanda では不十分である。
KinyaEmbedはKinyaBERT-large上に構築され、MultipleNegativesRankingLoss(MNRL)を使用して4段階のカリキュラムでトレーニングされている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present KinyaEmbed, the first dedicated sentence embedding model for Kinyarwanda, a morphologically rich Bantu language spoken by over 12 million people in Rwanda. Existing multilingual embedding models such as LaBSE, mE5-large, and OpenAI text-embedding-3-large perform poorly on Kinyarwanda due to severe under-representation in their pre-training corpora. KinyaEmbed is built on KinyaBERT-large and trained via a four-stage curriculum using MultipleNegativesRankingLoss (MNRL): Stage 1 leverages ~18,000 paraphrase pairs from the Official Gazette of Rwanda with three temperature scales; Stage 2 fine-tunes on 715 NLLB-translated MNLI triplets for entailment structure; Stage 3 aligns representations using English-Kinyarwanda OPUS-100 translation pairs; Stage 4 refines with 2,936 high-quality pairs filtered from KinyaCOMET at quality threshold 0.8. We evaluate on SemRel2024-rw and introduce Wiki-RW-STS, a new contamination-free Kinyarwanda STS benchmark of 300 pairs derived from Kinyarwanda Wikipedia. A seven-checkpoint ensemble (all5+23A*2, with the final stage double-weighted) achieves Spearman \r{ho}=0.7298 on SemRel2024-rw, surpassing mE5-large by 20.9% and OpenAI text-embedding-3-large by 41.0%. KinyaEmbed also achieves the best document clustering silhouette score (0.2146) across all evaluated models. All checkpoints, the KinyaCOMET filtered pairs, and the Wiki-RW-STS benchmark are publicly available.
- Abstract（参考訳）: 我々はKinyaEmbedについて紹介する。KinyaEmbedは、ルワンダで1200万人以上の人々が話していた形態学的に豊かなバントゥー語であるKinyarwandaの最初の専用文埋め込みモデルである。
LaBSE, mE5-large, OpenAI text-embedding-3-large といった既存の多言語埋め込みモデルは, 事前学習コーパスの過小評価のため, Kinyarwanda では不十分である。
KinyaEmbedはKinyaBERT-large上に構築され、MNRL(MultipleNegativesRankingLoss)を使用して4段階のカリキュラムでトレーニングされている。ステージ1はルワンダの公式ガゼットから約18,000のパラフレーズペアを3つの温度スケールで利用し、ステージ2は715 NLLBで翻訳されたMNLI三重項に微調整し、ステージ3は英語のKinyarwanda OPUS-100翻訳ペアを使用して表現を調整する。
我々はSemRel2024-rwを評価し,Kinyarwanda Wikipediaから派生した300対の汚染のない新しいSTSベンチマークであるWiki-RW-STSを紹介する。
7つのチェックポイントアンサンブル(最終ステージは23A*2、最終ステージは2重)は、SemRel2024-rwでSpearman \r{ho}=0.7298を達成し、mE5-largeを20.9%上回り、OpenAIのテキストエンベジン3-largeを41.0%上回る。
KinyaEmbedはまた、評価されたすべてのモデルで最高のドキュメントクラスタリングシルエットスコア(0.2146)を達成する。
全てのチェックポイント、KinyaCOMETフィルタペア、Wiki-RW-STSベンチマークが公開されている。
関連論文リスト
- K-EXAONE 2.0 Technical Report [59.84003637088418]
K-EXAONE 2.0はLG AI Researchが開発したオープンウェイトな多言語基盤モデルである。
Apache 2.0ライセンスでリリースされたK-EXAONE 2.0は、幅広いAIエコシステムを評価、デプロイ、適応、構築可能にする。
論文 参考訳（メタデータ） (2026-08-05T06:41:48Z) - JuZhou 1.0 Technical Report: The First Edge-Native Text-to-Image Foundation Model Trained Entirely on China-Developed AI Accelerators [82.160839154214]
テキスト・ツー・イメージ(T2I)拡散モデルは通常、かなりの計算資源とクラウドインフラを必要とする。
We present JuZhou 1.0, a Ultra-lightweight T2I foundation model designed for complete offline, on-device execution。
論文 参考訳（メタデータ） (2026-06-25T17:14:03Z) - Neural Machine Translation for Low-Resource Tangkhul--English [0.0]
タングル語(Tangkhul)は、主にインドのマニプールで話されているチベット・ビルマン語族の言語である。
本報告では,(1)ByT5-largeファインチューニングに基づく基本システムと,(2)同一コーパス上のmT5-smallファインチューニングに基づくコントラストシステム,の2つのシステムについて述べる。
我々の主要なBYT5大規模システムは、コーパスBLEUスコア39.97、chrF++58.07、BERTScore F1、COMET0.7302をホールドアウトテストセットで達成する。
論文 参考訳（メタデータ） (2026-06-24T03:54:46Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Evaluation of Chunking Strategies for Effective Text Embedding in Low-Resource Language on Agricultural Documents [0.0]
Average Retrieval Score (L2 distance)、Answer Relevance、Khmer Coverage、Khmer Intersection over Unionの4つの指標を用いてパフォーマンスを評価する。
我々は,300文字のチャンクサイズを持つ文字ベースの再帰的チャンク法において,最適な性能を示す。
論文 参考訳（メタデータ） (2026-05-21T09:06:13Z) - Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study [0.0]
トケナイザーの出生率は、ウクライナの法文に基づく基礎モデルの1.6倍である。
Qwen 3モデルは同一入力上のLlamaファミリーモデルよりも60%多くトークンを消費する。
パフォーマンスは最大26ポイント低下する。
論文 参考訳（メタデータ） (2026-05-14T14:35:05Z) - Structured Intent as a Protocol-Like Communication Layer: Cross-Model Robustness, Framework Comparison, and the Weak-Model Compensation Effect [0.0]
本稿では、AIモデル、言語、プロンプトフレームワーク間で、確実に構造化された意図表現がいかにユーザ目標を保っているかを検討する。
構造的プロンプトは、非構造的ベースラインに対する言語間スコアのばらつきを著しく低減する。
ユーザ調査では、AIが拡張した5W3Hは、インタラクションラウンドを60%削減し、ユーザの満足度を3.16から4.04に向上させる。
論文 参考訳（メタデータ） (2026-03-31T16:20:28Z) - Towards High-Quality Machine Translation for Kokborok: A Low-Resource Tibeto-Burman Language of Northeast India [0.0]
コクボロクMT(KokborokMT)は、インド・トリプラ州で主に話されているチベット・ビルマ語(英語版)の言語であるコクボロク(ISO 639-3)の高品質なニューラルマシン翻訳(NMT)システムである。
我々は,NLLB-200蒸留600Mモデルを36,052文対からなる多ソース並列コーパス上で微調整する。
我々の最良のシステムは、事前に公表された結果よりも大幅に改善されたテストセット上でのBLEUスコア17.30と38.56を達成する。
論文 参考訳（メタデータ） (2026-03-28T18:20:13Z) - Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。
WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。
Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
論文 参考訳（メタデータ） (2026-03-26T10:56:48Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - K-EXAONE Technical Report [76.23621600385238]
K-EXAONEはLG AI Researchが開発した大規模多言語言語モデルである。
256Kのコンテキストウィンドウをサポートし、韓国語、英語、スペイン語、ドイツ語、日本語、ベトナム語をカバーしている。
我々はK-EXAONEを、推論、エージェント、一般、韓国語、多言語能力にまたがる総合的なベンチマークスイートで評価した。
論文 参考訳（メタデータ） (2026-01-05T02:30:59Z) - Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation
System for the WMT22 Translation Task [49.916963624249355]
本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。
我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。
本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
論文 参考訳（メタデータ） (2022-10-17T04:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。