論文の概要: Rethinking Normalization Placement for LLMs: Post-Norm under Curriculum Depth Growing

• arxiv url: http://arxiv.org/abs/2608.13156v1
• Date: Thu, 13 Aug 2026 12:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.515565
• Title: Rethinking Normalization Placement for LLMs: Post-Norm under Curriculum Depth Growing
• Title（参考訳）: LLMの正規化配置再考:カリキュラム深度成長期におけるポストノーム
• Abstract要約: プレノームは、完全深度モデルの共同最適化を容易にするため、現代のトランスフォーマーの標準正規化配置である。 カリキュラムを通じて奥行きが導入されたとき、この好みが持続するかどうかを問う。 カリキュラムの深さ成長において、各付加ブロックは、訓練されたプレフィックスによって生成された境界表現を受け取る。
• 参考スコア（独自算出の注目度）: 24.9693790061569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-norm is the standard normalization placement in modern Transformers because it facilitates joint optimization of full-depth models. We ask whether this preference persists when depth is introduced through a curriculum. In curriculum depth growth, each appended block receives the boundary representation produced by a trained prefix, making normalization placement relevant to forward conditioning. We therefore test whether placement and training curriculum interact. In a controlled distillation study with a Qwen3-8B teacher and a nine-layer student, pre-norm and post-norm are indistinguishable under joint training, differing by $0.0004$ validation CE, while post-norm improves over pre-norm by $0.0328$ under curriculum growth, an order of magnitude larger. A post-joint control matched by student active-layer tokens remains worse than post-grow, which rules out compute as the sole explanation. The ranking crosses over during the curriculum: post-norm takes the lead once blocks are appended. Single-block and freeze controls localize the ranking change to block appending rather than shallow-block quality or retraining. Boundary diagnostics associate post-norm with stable residual scales and pre-norm with structural-token scale drift; on a fixed batch, the final pre-grow block is also nearly identity-mapped. Together with the phase-wise crossover, these observations are consistent with boundary-scale conditioning after new blocks are appended. The results motivate treating normalization placement and training curriculum as coupled design choices in this distillation setting.
• Abstract（参考訳）: プレノームは、完全深度モデルの共同最適化を容易にするため、現代のトランスフォーマーの標準正規化配置である。 カリキュラムを通じて奥行きが導入されたとき、この好みが持続するかどうかを問う。 カリキュラム深度成長において、各付加ブロックは、訓練されたプレフィックスによって生成された境界表現を受け取り、フォワード条件付けに関連する正規化配置を生成する。 したがって、配置とトレーニングのカリキュラムが相互作用するかどうかをテストする。 Qwen3-8B教師と9層の学生による管制蒸留研究において、プレノームとポストノームは共同訓練では区別不能であり、検証CEは0.0004ドルの差があり、ポストノームはカリキュラムの成長により0.0328ドルの差がある。 学生のアクティブ層トークンにマッチするポストジョイント制御は、計算を唯一の説明として除外するポストグローよりも悪いままである。 カリキュラムの間、ランキングは交差する: ポストノームはブロックが付加されるとリードを取る。 シングルブロックとフリーズコントロールは、ランキング変更をローカライズして、浅いブロックの品質や再トレーニングではなく、追加をブロックする。 境界診断は、ポストノームと安定な残留スケール、プレノームと構造的トーケンスケールドリフトを関連付ける。 位相方向の交叉とともに、これらの観測は、新しいブロックが付加された後に境界スケールの条件付けと一致している。 その結果, この蒸留条件において, 正規化配置とトレーニングカリキュラムを複合設計選択として扱うことが動機となった。

関連論文リスト

• Behaviorally Effective LoRA Writes Are Sparse and Structured [0.0]
  低ランク適応では更新のランクが固定されるが、トレーニング済みの書き込みのどの部分が実際に動作しているかは特定できない。 動作に有効なLoRA書き込みは、生の低ランクパラメータ化が示唆するよりも疎く、構造化され、はるかに集中していることを示す。
  論文  参考訳（メタデータ） (2026-09-01T15:09:43Z)
• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
  OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。 これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。 品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
  論文  参考訳（メタデータ） (2026-08-03T23:09:43Z)
• Between-User Collapse Under Popularity-Biased Feedback: A Centered-Covariance Theorem and Computable Phase Boundary [0.0]
  我々は,人気度の高いBPRトレーニングが,協調フィルタリング埋め込みのユーザ間幾何学にどう影響するかを考察する。 定常アイテムによる人気バイアスのあるフィードバックの下では、$C$は安定した状態に収束する。 次に、その効果の限界について検討する。
  論文  参考訳（メタデータ） (2026-08-03T17:33:25Z)
• MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models [16.071341117554038]
  我々は、アライメントによる内部再構成を測定するためのフレームワークであるMENTISを紹介する。 LITMUSでは,4組の7-8Bモデルペアに対して,アライメントによる変化は均一ではなく選択的であることが判明した。 これらの結果は, 行動レベルの評価だけでは明らかでない, 内部計算において, 深度局所化された幾何的シグネチャが構築されていることを示唆している。
  論文  参考訳（メタデータ） (2026-05-31T07:05:51Z)
• Representation Collapse in Sequential Post-Training of Large Language Models [17.437127662981847]
  逐次後学習が内部表現を低ランク,異方性,均一な特徴空間に徐々に圧縮するかどうかを考察する。 我々は,制御段階順序下での教師付き微調整,選好最適化,安全/拒絶チューニング,数学とコードの特殊化,および長いチェーン・オブ・シンキングを解析した。
  論文  参考訳（メタデータ） (2026-05-28T19:59:17Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization [46.30241353155658]
  既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。 我々は、最先端の手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。 TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
  論文  参考訳（メタデータ） (2023-09-26T14:06:26Z)
• Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations [154.51144248210338]
  Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。 BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
  論文  参考訳（メタデータ） (2020-03-27T05:04:24Z)
• On Layer Normalization in the Transformer Architecture [112.40350994368741]
  まず,学習速度のウォームアップが重要である理由を理論的に検討し,レイヤー正規化の位置が重要であることを示す。 ウォームアップステージのないPre-LNトランスフォーマーはベースラインと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-12T00:33:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。