論文の概要: Unfragmenting Nawatl NMT: Single-Variant Specialization for Masewalkopa
- arxiv url: http://arxiv.org/abs/2610.22110v1
- Date: Thu, 15 Oct 2026 15:51:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.170204
- Title: Unfragmenting Nawatl NMT: Single-Variant Specialization for Masewalkopa
- Title（参考訳）: ナワトルNMT--マセウロパの単変数特化
- Abstract要約: 近縁な原住民の混合コーパスは、単一の話者コミュニティに説明できない人工レジスタを生成することができる。
我々はサンタアナ・トラコテンコで話されるナワトルの品種であるMasewalkopa (nhn) に mT5-large checkpoint を特化している。
カスタム有限状態解析器は、分析されていない表面の形状を82.0%から19.9%に減少させる。
CTranslate2 int8量子化により、CPUのレイテンシが要求毎に137.5から1.8-2.6秒に短縮され、コストバウンドなCloud Runデプロイメントが可能になる。
- 参考スコア（独自算出の注目度）: 5.483390601872066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In minoritized (low-resource) language technologies, a common response to data sparsity is to aggregate text across multiple varieties and treat the combined data as a single corpus. However, mixed corpora of closely related indigenous variants can produce an artificial register that is accountable to no single speaker community, a structural failure we call variant fragmentation. This issue is acute for minoritized languages native to Mexico, such as Nawatl. Building on a 70,000-pair multi-variant foundation, we specialize an mT5-large checkpoint to Masewalkopa (nhn), the Nawatl variety spoken in Santa Ana Tlacotenco. We curate 2,665 parallel pairs, reserve all sentence-level data for evaluation, and incorporate 192 elder-transcribed target sentences via asymmetric backtranslation. A custom finite-state analyzer reduces unanalyzed surface forms from 82.0% to 19.9% and supplies functional syntax tags as plain-text prefixes, allowing the model to reuse existing subword embeddings rather than relying on frozen special tokens. The resulting LoRA-v9c-b model achieves 58.46 dev chrF++ and 58.20/57.90 directional test chrF++. Finally, CTranslate2 int8 quantization reduces CPU latency from 137.5 to 1.8-2.6 seconds per request, enabling cost-bounded Cloud Run deployment.
- Abstract（参考訳）: 少数化(低リソース)言語技術では、データ空間に対する一般的な反応は、複数の種類にまたがるテキストを集約し、組み合わせたデータを単一のコーパスとして扱うことである。
しかし、近縁な先住民変異体の混合コーパスは、単一の話者コミュニティに説明できない人工レジスタを生成することができ、これは変異断片化と呼ばれる構造的失敗である。
この問題は、ナワトルのようなメキシコ原住民の少数言語にとって急激な問題である。
サンタアナ・トラコテンコで話されるナワトルの品種Masewalkopa (nhn) に mT5-large checkpoint を特化している。
我々は,2,665対の並列ペアをキュレートし,すべての文レベルデータを予備的に評価し,非対称逆変換により192個の古文を組み込んだ。
カスタム有限状態解析器は、解析されていない表面のフォームを82.0%から19.9%に減らし、機能的な構文タグをプレーンテキストの接頭辞として提供し、凍結した特別なトークンに頼るのではなく、既存のサブワード埋め込みを再利用できるようにする。
結果として得られるLoRA-v9c-bモデルは58.46 dev chrF++と58.20/57.90方向テスト chrF++を達成する。
最後に、CTranslate2 int8量子化により、CPUのレイテンシが要求毎に137.5から1.8-2.6秒に短縮され、コストバウンドなCloud Runデプロイメントが可能になる。
関連論文リスト
- Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study [0.19921702137386235]
本稿では,MNMTモデルに対する語彙プルーニング手法と微調整プロトコルを併用した汎用最適化フレームワークを提案する。
提案手法は3つのモデル(M2M100, NLLB-200, mBART-50)を英語とアラビア語のペア上で評価する。
その結果、最適化された多言語モデルでは、専用バイリンガルベースラインの性能に適合または超えることができることがわかった。
論文 参考訳（メタデータ） (2026-08-04T11:17:54Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - BhashaSetu: A Data-Centric Approach to Low-Resource Machine Translation [1.2546133965241097]
BhashaSetuは言語的に豊かな英語である--低リソースニューラルネットワーク翻訳(NMT)における永続的なデータ制限に対処するパラレルデータセット
我々のデータセットは, ニュース, 政治, 医療, 文学, 文化など異質な情報源からの278万の文対からなる。
論文 参考訳（メタデータ） (2026-05-26T14:03:20Z) - Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models [2.2228811750157482]
PIIのリアクションは通常、検出されたエンティティを[PERSON]のようなプレースホルダートークンに置き換える。
我々は、PIIを一貫した型保存型偽値で置き換える完全なオンデバイスパイプラインを提案する。
論文 参考訳（メタデータ） (2026-05-13T13:47:11Z) - Attention Sinks in Massively Multilingual Neural Machine Translation:Discovery, Analysis, and Mitigation [0.0]
ニューラルネットワーク翻訳におけるクロスアテンションパターンは、多言語モデルが言語構造をどのように整合させるかを研究するために広く用いられている。
NLLB-200(600M)のクロスアテンション解析における系統的アーティファクトについて報告する。
我々はこれらの「注意の流し込み」と呼び、LSMからNMTの交差注意への発見を延長し、位置バイアスよりも語彙設計に根ざした因果メカニズムを同定する。
論文 参考訳（メタデータ） (2026-05-02T03:59:00Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - The Digital Sous Chef -- A Comparative Study on Fine-Tuning Language Models for Recipe Generation [2.497854684676663]
本稿では,GPT-2大モデル(774M)とGPT-2小モデル(124M)と,RecipeDB 5-cuisineコーパス上の従来のLSTM/RNNベースラインとを比較検討した。
キーとなるコントリビューションは、23個の共通分数トークンとカスタム構造マーカーで語彙を拡大するトークン化戦略です。
論文 参考訳（メタデータ） (2025-08-20T13:53:13Z) - Enhancing LLM Language Adaption through Cross-lingual In-Context Pre-training [57.62126373849383]
CrossIC-PT(クロスランガル・イン・コンテクスト・プレトレーニング)は、クロスランガル・トランスファーを強化するシンプルでスケーラブルなアプローチである。
セマンティック関連のバイリンガルウィキペディア文書を1つのコンテキストウィンドウにインターリーブすることで、CrossIC-PTサンプルを構築する。
実験の結果、CrossIC-PTは6つの対象言語にわたる3つのモデルの多言語性能を改善することが示された。
論文 参考訳（メタデータ） (2025-04-29T07:24:25Z) - Towards Faster k-Nearest-Neighbor Machine Translation [51.866464707284635]
k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。
ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
本手法は,翻訳品質をわずかに低下させることなく,kNN検索のオーバーヘッドを最大53%削減する。
論文 参考訳（メタデータ） (2023-12-12T16:41:29Z) - OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource
Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。
大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。
実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
論文 参考訳（メタデータ） (2022-05-17T19:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。