論文の概要: A Sovereign, Indic-First, Reasoning Model
- arxiv url: http://arxiv.org/abs/2610.15371v1
- Date: Sun, 11 Oct 2026 05:52:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.204437
- Title: A Sovereign, Indic-First, Reasoning Model
- Title（参考訳）: 厳密でインデックスファーストな推論モデル
- Abstract要約: Gnani-Evon-v3.3-30B-A3B (Gnani-Evon-v3.3-30B-A3B) は、英語とインドの8つの言語における推論、指示、ツール使用のための長文ハイブリッド型Mamba-Transformerモデルである。
52層のバックボーンを保持し、語彙、トレーニングデータ、訓練後の目的を変更する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gnani-Evon-v3.3-30B-A3B is a long-context hybrid Mamba-Transformer mixture-of-experts model for reasoning, instruction following, and tool use in English and eight Indian languages. Starting from NVIDIA's Nemotron-3-Nano-30B-A3B checkpoint, it retains the 52-layer backbone and changes the vocabulary, training data, and post-training objectives. An in-place expansion from 131,072 to 163,072 tokens reduces mean Indian-language fertility by 38.6%. The new embedding rows are initialized from their upstream decompositions and warmed before the backbone is updated. Continual pretraining then adds broad English-Indic data, high-quality annealing, and direct training at a 131,072-token sequence length. The central result appears after post-training. Reinforcement learning across four verifiable task environments improves mathematics, graduate-level science, and instruction following, but degrades Indic extractive question answering because the rewards do not require an answer in the requested language. The share of Indic extraction items answered in English rises from 8.7% to 91.7%. Accuracy conditional on answering in the target script roughly doubles, which is consistent with preserved reading ability but is measured on a self-selected subset. Two unreleased studies test repairs. A scoped Indic reward restores the language convention. A 26B-A4B generative judge outperforms a 235B-parameter model on RM-Bench, and distillation restores 81% of the capabilities displaced by optimizing against it. Relative to the architecture-identical starting checkpoint, the released model gains 5.2 points on an Indic aggregate while giving up 1.7 points of English retention. The unreleased Indic-aware branch trades further, gaining 14.6 Indic points at a cost of 5.4 in English. A planned FP8 release reduces the artifact to 32GB with near-zero mean change across 32 paired benchmarks.
- Abstract（参考訳）: Gnani-Evon-v3.3-30B-A3B (Gnani-Evon-v3.3-30B-A3B) は、英語と8つのインド語で用いられる推論、指示、ツールの使用のための、長文のハイブリッド・マンバ・トランスフォーマー・ミックス・オブ・エキスパート・モデルである。
NVIDIAのNemotron-3-Nano-30B-A3Bチェックポイントから始まり、52層のバックボーンを保持し、語彙、トレーニングデータ、トレーニング後の目的を変更する。
131,072から163,072のトークンへのインプレース拡大により、インド系言語の平均出生率は38.6%減少する。
新しい埋め込み行は上流の分解から初期化され、バックボーンが更新される前にウォームされる。
継続事前訓練では、広義のイングリッシュインデックスデータ、高品質なアニール、131,072のシークエンス長でのダイレクトトレーニングが加えられる。
トレーニングの後に中心的な結果が現れる。
4つの検証可能なタスク環境にまたがる強化学習は数学、大学院レベルの科学、そしてそれに続く指導を改善するが、報酬が要求された言語で答えを必要としないため、インデックス抽出質問応答を低下させる。
英語で回答したインデックス抽出項目のシェアは8.7%から91.7%に上昇した。
ターゲットスクリプトでの回答の精度条件は、保存された読み出し能力とほぼ一致しているが、自己選択されたサブセットで測定される。
2つの未発表の研究が修理をテストします。
スコープ付きインデックス報酬は、言語規約を復元する。
26B-A4B生成型判定器はRM-Bench上で235Bパラメータモデルより優れており、蒸留はそれに対して最適化することで変位した能力の81%を回復する。
アーキテクチャを識別した開始チェックポイントとは対照的に、リリースされたモデルはIndicアグリゲーションで5.2ポイントを獲得し、英語の保持を1.7ポイント与えている。
未発表のIndic-awareブランチはさらに取引され、英語で5.4のコストで14.6のIndicポイントを獲得した。
計画中のFP8リリースでは、アーティファクトを32GBに削減し、32ペアのベンチマークでほぼゼロに近い平均変更を実現している。
関連論文リスト
- In-Place Indic Tokenizer Expansion and Continual Pretraining of Nemotron-3-Nano-30B-A3B [0.0]
我々は8言語にNemotron-3-Nano-30B-A3Bを適用した。
語彙を131,072から163,072に拡張した。
元の構成行を平均化して入力行と出力行を新たに作成し、バックボーンを更新する前に90%のIndicと10%の英語テキストでトレーニングします。
論文 参考訳（メタデータ） (2026-10-11T05:53:00Z) - A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks [1.7077661158850292]
大規模言語モデルでは,忘れられる場所や理由を解析する。
本稿では,トレーニング中の出力予測にのみAdamのエプシロンを上昇させるという介入を提案する。
論文 参考訳（メタデータ） (2026-10-07T11:01:01Z) - Learn Now, Use Next, Trust Later: Prequential Test-Time Learning for LLM Agents [55.440058537827134]
StepLearnは、永続的な信頼から即時の使用を分離する非パラメトリックフレームワークである。
情報的な遷移を仮説に変え、次のステップを導く。
GPT-5-miniでの平均成功率は59.9%、84.0%、Qwen3.5-35B-A3Bで57.8%、88.1%である。
論文 参考訳（メタデータ） (2026-09-28T08:06:03Z) - Quantization Thresholds Replicate, Failure Modes Do Not: A Three-Model Study of Agentic Tool Use in Polish from 8-bit to 2-bit [0.0]
PolAgentBenchはポーランドのプロンプトと英語のツールスキーマを用いた決定論的ベンチマークである。
ビエリク-11B-v3.0とその熟成された蒸留子ビエリク-ミニトロン-7B-v3.0はモデル圧縮を分離する。
論文 参考訳（メタデータ） (2026-09-25T22:13:11Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Robust Assamese Speech Recognition through Controlled Fine-Tuning of Whisper Models [1.4095958360608893]
本稿ではMozilla Common Voice 24.0-Assamese corpusで学習したWhisper-based Assamese ASRシステムについて述べる。
ハードウェア対応の最適化トレーニングパイプラインは、リソース制約のある環境向けに実装されている。
論文 参考訳（メタデータ） (2026-07-19T09:54:52Z) - Improved Large Language Diffusion Models [115.83169414681767]
8Bマスク付き拡散言語モデルである EmphiLLaDA について検討した。
iLLaDAは、事前トレーニングと教師付き微調整(SFT)、12Tトークンへの事前トレーニング、および12エポックのための25Bトークン命令コーパスの微調整を通じて、マスク付き拡散目標を維持している。
論文 参考訳（メタデータ） (2026-06-24T02:51:36Z) - Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought [23.847410628315544]
英語とターゲット言語を切り替える推論スキーマである**Language-Mixed CoT**を紹介する。
我々は6つのファミリー(Qwen2.5、Llama-3.1、Gemma-3など)でNinveモデル(4B-35B)を訓練する。
我々のベストモデル**KO-REAson-35B*は、平均スコア(64.0 pm 25)で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-10-05T14:39:41Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。