論文の概要: In-Place Indic Tokenizer Expansion and Continual Pretraining of Nemotron-3-Nano-30B-A3B

• arxiv url: http://arxiv.org/abs/2610.15373v1
• Date: Sun, 11 Oct 2026 05:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.205484
• Title: In-Place Indic Tokenizer Expansion and Continual Pretraining of Nemotron-3-Nano-30B-A3B
• Title（参考訳）: Nemotron-3-Nano-30B-A3BのIn-Place Indic Tokenizer拡張と連続プレトレーニング
• Abstract要約: 我々は8言語にNemotron-3-Nano-30B-A3Bを適用した。 語彙を131,072から163,072に拡張した。 元の構成行を平均化して入力行と出力行を新たに作成し、バックボーンを更新する前に90%のIndicと10%の英語テキストでトレーニングします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We adapted Nemotron-3-Nano-30B-A3B for eight Indian languages without changing its backbone architecture. We expanded the vocabulary in place from 131,072 to 163,072 entries using continued byte-pair encoding and AdaptMix rebalancing, reducing tokens per word by 38.6%. We initialized new input and output rows by averaging their original constituent rows, then trained them on 90% Indic and 10% English text before updating the backbone. Continual pretraining then progressed through broad training, high-quality annealing, and long-context training over approximately 1.27 trillion tokens. The annealed checkpoint gained 12.9 points on the Indic MILU benchmark but lost 3.4 on English MMLU. We also report practical negative results. Direct token addition underperformed continued byte-pair encoding. AdamW weight decay changed rows intended to stay fixed. Perplexity on an Indic-heavy holdout did not select the learning rate that best preserved English performance.
• Abstract（参考訳）: 我々は8言語にNemotron-3-Nano-30B-A3Bを適用した。 語彙を131,072から163,072に拡張し,継続したバイトペアエンコーディングとAdaptMix再バランスを併用し,単語単位のトークンを38.6%削減した。 元の構成行を平均化して新しい入力行と出力行を初期化し、バックボーンを更新する前に90%のIndicと10%の英語テキストでトレーニングしました。 その後、広範囲の訓練、高品質のアニール、約1.27兆のトークンに対する長期の訓練が続けられた。 チェックポイントはIndic MILUベンチマークで12.9ポイントを獲得したが、英語のMMLUでは3.4ポイントを失った。 また、実際の否定的な結果も報告する。 直接トークンの追加は、継続したバイトペアエンコーディングの性能を損なう。 アダムWの重量減衰は、固定を意図した列を変更した。 Indic-heavyホールドアウトにおける難易度は、英語のパフォーマンスを最もよく保存する学習率を選ばなかった。

関連論文リスト

• A Sovereign, Indic-First, Reasoning Model [0.0]
  Gnani-Evon-v3.3-30B-A3B (Gnani-Evon-v3.3-30B-A3B) は、英語とインドの8つの言語における推論、指示、ツール使用のための長文ハイブリッド型Mamba-Transformerモデルである。 52層のバックボーンを保持し、語彙、トレーニングデータ、訓練後の目的を変更する。
  論文  参考訳（メタデータ） (2026-10-11T05:52:29Z)
• Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models [1.2691047660244335]
  本研究では, 連続拡散言語モデルにおける標準的慣行として, 訓練中清潔な条件付きトークンの修正について再検討する。 この修正された学習目標の下では,スドクやN-クィーンズなどの推論タスクにおいて,より優れた一般化が達成されることを示す。 また,ギガワードを要約した控えめなデータセット構造において,自然言語生成の質が向上することを示す。
  論文  参考訳（メタデータ） (2026-10-06T21:38:52Z)
• Writing-System-Level Tokenizer Adaptation for Byte-Level BPE [0.0]
  事前訓練されたバイトレベルのBPEトークンーザは、非表現言語を非効率に分割することができる。 トークン化器の置き換えは、ほぼすべてのトークンIDの意味を変え、語彙拡張はモデルの埋め込みおよび出力行列を拡大する。 モデル語彙のサイズを一定に保ち、既存のトークンからIDへの割り当てを多く保持するポストホック適応について検討する。
  論文  参考訳（メタデータ） (2026-08-01T10:38:23Z)
• AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3 [4.284434049360481]
  本稿では、SentencePiece Unigramアルゴリズム上に構築されたアラビア最適化トークンであるAraTokenを紹介する。 正常化したSentencePieceは、非正規化ベースラインに比べて18%低い受精率(1.199対1.35トークン/ワード)を達成することを示す。 実験の結果,LEPは100Kアラビアサンプルの800段階において,評価損失を8.28から2.43に減少させることがわかった。
  論文  参考訳（メタデータ） (2025-12-20T15:32:10Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Rho-1: Not All Tokens Are What You Need [132.31428897792114]
  以前の言語モデル事前学習手法は、すべてのトレーニングトークンに次トーケン予測損失を均一に適用した。 Rho-1 は選択言語モデリング (SLM) を採用しており、所望の分布に合わせて有用なトークンを選択的に訓練する。 15B OpenWebMathコーパスで継続事前トレーニングを行うと、Rho-1は9つの数学タスクで最大30%のショット精度で絶対的に改善する。
  論文  参考訳（メタデータ） (2024-04-11T17:52:01Z)
• Phrase-level Active Learning for Neural Machine Translation [107.28450614074002]
  ドメイン内データの翻訳に所定の予算を費やすことのできる,アクティブな学習環境を提案する。 我々は、人間の翻訳者へのルーティングのために、新しいドメインの未ラベルデータから全文と個々の句を選択する。 ドイツ語と英語の翻訳タスクでは,不確実性に基づく文選択法に対して,能動的学習手法が一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-06-21T19:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。