論文の概要: Depth and Scale in the Sub-150M Regime: JugnuLM-53M vs JugnuLM-110M

• arxiv url: http://arxiv.org/abs/2609.14715v1
• Date: Sun, 13 Sep 2026 18:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.901892
• Title: Depth and Scale in the Sub-150M Regime: JugnuLM-53M vs JugnuLM-110M
• Title（参考訳）: 150M以下のレジームの深さとスケール:JugnuLM-53M対JugnuLM-110M
• Abstract要約: 53.5Mから109.7Mに拡張した。 BLiMP 78.1 -> RMS 81.3, ARC-Easy 51.4 -> 52.5, WikiText-2 byte-perplexity 2.04 -> 1.95 - そして81.3%のBLiMPは基本的にGPT-X2-125Mと約12%のパラメータで一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We scale our conventional sub-150M pretraining recipe from 53.5M to 109.7M parameters, holding the method fixed (Qwen3-style decoder with grouped-query attention, RoPE, SwiGLU, RMSNorm, QK-Norm, and a z-loss; FineWeb-Edu data) and changing only the geometry to a deep-and-thin 23-layer x 576-hidden design. The larger model improves across the board -- BLiMP 78.1 -> 81.3, ARC-Easy 51.4 -> 52.5, WikiText-2 byte-perplexity 2.04 -> 1.95 -- and its 81.3% BLiMP essentially matches GPT-X2-125M (81.28) at about 12% fewer parameters. Notably the 110M model achieves this on fewer training tokens (about 8B vs 12B), so the gain is attributable to capacity and depth, not more data. Both models are deliberately conventional; this report is a clean scaling control and the baseline rung (R0) of an ablation study of what further improves models in this regime. An ablation ladder follows: value residuals (R1) and the Muon optimizer (R2) lift ARC-Easy by a cumulative +3.6 (52.5 -> 56.1) at a near-flat BLiMP and are kept; a diverse data blend (R3) and two logit-distillation settings (R4a/R4b) are not kept -- honest negatives. R3 pins ARC-Easy to FineWeb-Edu's educational filtering rather than raw diversity; distillation from a 1.7B teacher can reach the class-leading ARC-Easy (56.99, matching GPT-X2-125M) but only at a perplexity cost that dialing KD down then erases -- so R2 remains the best kept stack.
• Abstract（参考訳）: 我々は,従来の53.5Mから109.7Mパラメータへの事前学習レシピを拡張し,本手法を固定した(グループクエリアテンションを持つQwen3型デコーダ,RoPE,SwiGLU,RMSNorm,QK-Norm,z-loss; FineWeb-Eduデータ)。 BLiMP 78.1 -> 81.3, ARC-Easy 51.4 -> 52.5, WikiText-2 byte-perplexity 2.04 -> 1.95 -- そして81.3%のBLiMPは基本的にGPT-X2-125M (81.28)と約12%のパラメータで一致している。 特に110Mモデルは、少ないトレーニングトークン(約8Bと12B)でこれを達成するため、より多くのデータではなく、キャパシティと深さに起因する。 どちらのモデルも故意に従来型であり、この報告はクリーンなスケーリング制御であり、この状態におけるモデルをさらに改善させるためのアブレーション研究のベースラインラング(R0)である。 値残差 (R1) とミューオンオプティマイザ (R2) は累積 +3.6 (52.5 -> 56.1) でARC-Easy をほぼ平坦な BLiMP に保持し、多様なデータブレンド (R3) と2つのロジト蒸留設定 (R4a/R4b) は保存されない。 R3はARC-EasyからFineWeb-Eduの教育的なフィルタリングを生の多様性ではなくピン留めする; 1.7Bの教師による蒸留は、ARC-Easy(56.99、GPT-X2-125Mと一致する)に到達できるが、KDをダイアルダウンさせる複雑なコストだけで消去される。

関連論文リスト

• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• X-KGRank: A Knowledge Graph RAG Framework for Explainable Recommendations via Pattern Mining and LLM Re-Ranking [0.0]
  X-KGRankは、構造的協調フィルタリングとLLMに基づく説明を統合する知識グラフ検索フレームワークである。 我々は3つの関係型(Rated, HAS_GENRE, CO_Rated)にまたがる9,762個のノードと999,264個のエッジからなる異種知識グラフを構築した。 X-KGRank は NDCG@10 = 0.2956 と Recall@10 = 0.5371 を達成する。
  論文  参考訳（メタデータ） (2026-08-03T05:56:40Z)
• ExPLoRe: Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling [4.650294470355587]
  本稿では,Expert Patch-Level Loss Routing(Expert Patch-Level Loss Routing)を提案する。 剥離アブレーションにより損失カップリングがコアメカニズムとして確認され、勾配がブロックされると1.6%が劣化する。 下流転送では,バニラMoEよりもMoEファインタニングを+1.5%向上させる適応レシピ(フリーズルーティング,エキスパートドロップアウト,フリーズアテンション)を開発した。
  論文  参考訳（メタデータ） (2026-06-30T06:31:18Z)
• The Fine-Tuning Trap: Evaluating Negative Transfer and the Role of PEFT in Sub-1B Mathematical Reasoning [8.166960747155136]
  フルファインチューニング(Full FT)は、300Mパラメータ以下のモデルの性能を積極的に損なう。 また,Low-Rank Adaptation (LoRA) とWeight-Decomposed LoRA (DoRA) を比較検討したところ,その強度はタスクによって異なることがわかった。 5M未満のアーキテクチャでは,すべてのアライメントサブ1Bモデルに対してPEFTをデフォルトとし,Full FTに対して警告する。
  論文  参考訳（メタデータ） (2026-06-05T05:34:13Z)
• KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance [50.70511573232489]
  我々は、ヒントデザインを最小限のガイダンス問題として扱うRLトレーニングフレームワークであるtextbfKnowRL(Knowledge-Guided Reinforcement Learning)を提案する。 KnowRLは、ガイダンスを原子知識ポイント(KP)に分解し、制約付きサブセットサーチ(CSS)を使用して、訓練用にコンパクトで対話対応のサブセットを構築する。 1.5Bスケールの8つの推論ベンチマークで、KnowRL-Nemotron-1.5Bは強いRLを一貫して上回り、ベースラインを示唆している。
  論文  参考訳（メタデータ） (2026-04-14T11:53:23Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
  時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。 我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。 THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
  論文  参考訳（メタデータ） (2025-11-06T00:41:54Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• SingLoRA: Low Rank Adaptation Using a Single Matrix [7.828928639229988]
  Low-Rank Adaptation (LoRA) は、大きな事前訓練されたモデルのパラメータ効率の高い微調整を著しく進歩させた。 本稿では,SingLoRAを提案する。SingLoRAは,重み付け更新を変換によって乗算した1つの低ランク行列の分解として学習することで,低ランク適応を再構築する。
  論文  参考訳（メタデータ） (2025-07-08T01:11:30Z)
• Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in Math [135.1260782461186]
  CoT(Chain-of-Thought)は大規模言語モデル(LLM)の形式推論能力を著しく向上させる しかし、Small Language Models (SLM) における推論の改善は、モデル能力が限られているため、依然として困難である。 本研究では,(1)多種多様な蒸留長CoTデータによる大規模中等教育,(2)高品質長CoTデータによる微調整,(3)厳格な選好データセットを活用したロールアウトDPO,(4)検証リワードを用いた強化学習(RL)の4段階からなるSLMの体系的トレーニングレシピを提案する。
  論文  参考訳（メタデータ） (2025-04-30T00:04:35Z)
• RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。 実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
  論文  参考訳（メタデータ） (2024-09-20T01:46:07Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。