論文の概要: Jupiter-N Technical Report
- arxiv url: http://arxiv.org/abs/2604.17429v1
- Date: Sun, 19 Apr 2026 13:18:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.522391
- Title: Jupiter-N Technical Report
- Title(参考訳): ジュピターN技術報告
- Authors: George Drayson,
- Abstract要約: 我々は、ネモトロン3スーパーからポストトレーニングされたハイブリッド推論モデルJupiter-Nを紹介する。
本研究の目的は,不確実性評価トラジェクトリによるエージェント能力,英国の文化的アライメント,ウェールズ語サポートの3つである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Jupiter-N, a hybrid reasoning model post-trained from Nemotron 3 Super, a fully open-source 120 billion parameter LLM. We target three objectives: (1) agentic capability via uncertainty-curated trajectories; (2) UK cultural alignment via synthetic data grounded in cultural norms; and (3) Welsh language support via parallel corpora and LLM-translated Welsh conversations. Our data curation strategy carefully preserves the base model's capabilities: using our Forget-Me-Not framework, we mix on-policy synthetic replay with off-policy task data to mitigate catastrophic forgetting, and include a mixture of reasoning and non-reasoning traces to maintain Nemotron's hybrid reasoning ability. Jupiter-N achieves standout gains over Nemotron in Welsh (+18 on ARC-Easy, +5.25 on MMLU-Lite), terminal-use (+9.1 on Terminal Bench 2) and instruction following (+4.4 on IFBench), while retaining the base model capabilities. We frame this work as a reproducible template for sovereign post-training: substituting cultural knowledge, institutional corpora, and target languages produces an equivalent pipeline for any country. All model weights and all post-training datasets are publicly released under open licences.
- Abstract(参考訳): 我々は,完全なオープンソースパラメータLLMであるNemotron 3 Superからポストトレーニングしたハイブリッド推論モデルJupiter-Nを提案する。
目的は,(1)不確実性軌道によるエージェント能力,(2)文化規範に基づく合成データによる英国文化アライメント,(3)平行コーパスとLLM翻訳ウェールズ会話によるウェールズ語サポート,の3つである。
我々は、Forget-Me-Notフレームワークを使用して、ネモトロンのハイブリッド推論能力を維持するための推論と非推論トレースの混合を含む、破滅的な忘れを緩和するために、オフ・ポリティクスタスクデータとオン・ポリティクス・リプレイを混合する。
ジュピターNはウェールズのネモトロン(ARC-Easyで+18、MMLU-Liteで+5.25)、ターミナルユース(ターミナルベンチで+9.1)よりも優位に立つ
IFBenchの4.4以降の命令はベースモデルの能力を保ちながら継続する。
文化知識の代替、制度のコーパス、ターゲット言語は、あらゆる国で同等のパイプラインを生成する。
すべてのモデルウェイトとトレーニング後のデータセットは、公開ライセンス下で公開されている。
関連論文リスト
- On Data Engineering for Scaling LLM Terminal Capabilities [62.14352406328365]
最先端の端末エージェントの背後にあるトレーニングデータ戦略はほとんど公表されていない。
端末エージェントのデータエンジニアリングプラクティスの体系的研究を通じて,このギャップに対処する。
当社のパイプラインは,端末タスク用の大規模オープンソースデータセットである Terminal-Corpus を生成する。
論文 参考訳(メタデータ) (2026-02-24T18:51:04Z) - NagaNLP: Bootstrapping NLP for Low-Resource Nagamese Creole with Human-in-the-Loop Synthetic Data [6.689013010749215]
NagaNLPは、Nagameseの包括的なオープンソースツールキットである。
LLM駆動だが人為的な合成データ生成に依存している。
私たちは差別モデルと生成モデルの両方を訓練します。
論文 参考訳(メタデータ) (2025-12-14T04:08:26Z) - Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data [55.65426108082807]
Uni-MoE-2.0-Omniをスクラッチから3つのコアコントリビューションで構築しています。
雑用的な理解や、画像、テキスト、音声を生成することができる。
論文 参考訳(メタデータ) (2025-11-16T14:10:55Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - NLEBench+NorGLM: A Comprehensive Empirical Analysis and Benchmark Dataset for Generative Language Models in Norwegian [4.062031248854444]
ノルウェーの人口はわずか500万人で、NLPのタスクで最も印象的なブレークスルーの中では、表現力に乏しい。
このギャップを埋めるために、既存のノルウェーデータセットをコンパイルし、4つのノルウェーオープン言語モデルを事前訓練しました。
GPT-3.5はノルウェーの文脈を理解する能力に限界があることがわかった。
論文 参考訳(メタデータ) (2023-12-03T08:09:45Z) - Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation
System for the WMT22 Translation Task [49.916963624249355]
本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。
我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。
本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
論文 参考訳(メタデータ) (2022-10-17T04:34:09Z) - Self-Learning for Zero Shot Neural Machine Translation [13.551731309506874]
本研究は、並列データを共有するピボット言語を仮定せずに学習するゼロショットNMTモデリング手法を提案する。
教師なしNMTと比較して、ドメインミスマッチ設定でも一貫した改善が観察される。
論文 参考訳(メタデータ) (2021-03-10T09:15:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。