論文の概要: Training nGPT

• arxiv url: http://arxiv.org/abs/2608.01284v1
• Date: Sun, 02 Aug 2026 14:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.148159
• Title: Training nGPT
• Title（参考訳）: nGPTのトレーニング
• Abstract要約: 正規化変換器(nGPT)は超球面表現学習を実現する。 我々は,nGPTの実践的なトレーニングレシピを記述し,最新のハイブリッドMamba-2--Transformer Mixture-of-Experts (MoE)モデルで評価する。
• 参考スコア（独自算出の注目度）: 37.79697907221761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The normalized Transformer (nGPT) realizes hyperspherical representation learning by constraining model parameter vectors and activation vectors to the unit hypersphere. In this paper, we describe a practical training recipe for nGPT and evaluate it on modern hybrid Mamba-2--Transformer Mixture-of-Experts (MoE) models. The recipe introduces Logit Gradient Preconditioning, Logarithmic Learning Rate Decay, GatedAdamW, angular update control, and optional exploration mechanisms. Compared with an unnormalized model of the same hybrid MoE architecture trained with AdamW, the 14B-total-parameter nGPT model reaches the same validation loss using approximately half as many training tokens. The recipe scales across the models considered, which contain up to 14B total parameters.
• Abstract（参考訳）: 正規化変換器(nGPT)はモデルパラメータベクトルとアクティベーションベクトルを単位超球に制約することで超球面表現学習を実現する。 本稿では,nGPTの実践的なトレーニングレシピを記述し,最新のハイブリッド型Mamba-2--Transformer Mixture-of-Experts (MoE)モデルで評価する。 レシピには、Logit Gradient Preconditioning、Logarithmic Learning Rate Decay、GatedAdamW、角更新制御、オプションの探索メカニズムが導入されている。 AdamWでトレーニングされた同じハイブリッドMoEアーキテクチャの非正規化モデルと比較して、14B-total-parameter nGPTモデルは、約半分のトレーニングトークンを使用して、同じ検証損失に達する。 レシピは、考慮されたモデルにわたってスケールし、最大14Bのパラメータを含む。

関連論文リスト

• Lecture notes on Machine Learning applications for global fits [0.0]
  この講義ノートは、現代の機械学習(ML)サロゲートを用いて、高エネルギー物理学におけるグローバルな統計的適合性を実現するための包括的なフレームワークを提供する。 まず、確率関数、ウィルクスの定理、プロファイル可能性を含むモデル構築の統計的基礎を概観する。 このノートには、アクティブな学習とガウス的プロセスによるトレーニングデータの効率的な生成を含む、堅牢なMLワークフローが詳述されている。
  論文  参考訳（メタデータ） (2026-04-08T18:53:02Z)
• Hyperparameter Transfer with Mixture-of-Expert Layers [51.03005470884366]
  現代のニューラルネットワークをスケールアップするための重要なツールとして、Mixture-of-Experts(MoE)層が登場した。 モデル幅,深さ,専門家の数,(隠れた)サイズを拡大する際,MoE層を有するトランスフォーマーモデルのパラメータ化を提案する。
  論文  参考訳（メタデータ） (2026-01-28T03:02:30Z)
• Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
  現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。 記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-08-26T04:31:28Z)
• ExPLAIND: Unifying Model, Data, and Training Attribution to Study Model Behavior [39.590138981646696]
  ポストホックの解釈可能性のメソッドは、通常、モデルの振る舞いをそのコンポーネント、データ、または独立した訓練軌跡に関連付ける。 これらの観点をすべて統合した統合フレームワークであるExPLAINDを紹介します。
  論文  参考訳（メタデータ） (2025-05-26T14:53:11Z)
• Model Assembly Learning with Heterogeneous Layer Weight Merging [57.8462476398611]
  モデル統合のための新しいパラダイムであるモデルアセンブリ学習(MAL)を紹介する。 MALは、様々なモデルのパラメータをオープンエンドモデル動物園に統合し、ベースモデルの能力を高める。
  論文  参考訳（メタデータ） (2025-03-27T16:21:53Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。 結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。 また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)
• Activation Density based Mixed-Precision Quantization for Energy Efficient Neural Networks [2.666640112616559]
  ニューラルネットワークモデルのイントレーニング量子化手法を提案する。 本手法は,混合精度モデルの学習中に各層に対するビット幅を計算する。 VGG19/ResNet18アーキテクチャ上で、CIFAR-10、CIFAR-100、TinyImagenetなどのベンチマークデータセットの実験を行います。
  論文  参考訳（メタデータ） (2021-01-12T09:01:44Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。