論文の概要: Freeze Deep, Train Shallow: Interpretable Layer Allocation for Continued Pre-Training

• arxiv url: http://arxiv.org/abs/2605.11416v1
• Date: Tue, 12 May 2026 02:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.524697
• Title: Freeze Deep, Train Shallow: Interpretable Layer Allocation for Continued Pre-Training
• Title（参考訳）: 深海・深海・深海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海・海
• Authors: Yu-Hang Wu, Qin-Yuan Liu, Qiu-Yang Zhao, Bo Jiang, Jiang-Feng Yang, Qing-Wei Cong,
• Abstract要約: 本稿では,タスク実行位置を特定し,レイヤの感度を定量化するためにLayerTracerを提案する。 我々は、ディープレイヤがタスク実行の重要な領域として機能し、破壊的な更新に対して高い安定性を維持することを示す。 また,高品質な事前学習モジュールを深層に配置することで,モデル固有の知識を効果的に保存できることを検証したハイブリッドモデルケーススタディを提案する。
• 参考スコア（独自算出の注目度）: 5.338568138489752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selective layer-wise updates are essential for low-cost continued pre-training of Large Language Models (LLMs), yet determining which layers to freeze or train remains an empirical black-box problem due to the lack of interpretable guidance. To address this issue, we propose LayerTracer, an architecture-agnostic diagnostic framework that reveals the evolution patterns of layer-wise representations and stability by locating task execution positions and quantifying layer sensitivity. Analysis results reveal that deep layers act as critical regions for task execution and maintain high stability against disruptive updates. Guided by this finding, we conduct three controlled continued pre-training trials to compare diverse freeze-train strategies, demonstrating that training shallow layers while freezing deep layers consistently outperforms full-parameter fine-tuning and the opposite allocation on both C-Eval and CMMLU benchmarks. We further present a hybrid model case study, which validates that placing high-quality pre-trained modules in deep layers effectively preserves inherent knowledge of the model. This work delivers a low-cost and interpretable solution for resource-constrained teams, offering actionable guidance for layer-wise parameter allocation in continued pre-training and hybrid model construction.
• Abstract（参考訳）: LLM(Large Language Models)の低コストで継続する事前訓練には、選択的なレイヤワイズ更新が不可欠であるが、解釈可能なガイダンスが欠如しているため、どのレイヤを凍結するか、あるいはトレーニングするかは、実証的なブラックボックスの問題のままである。 この問題に対処するため,アーキテクチャに依存しない診断フレームワークであるLayerTracerを提案する。 分析結果から、ディープレイヤがタスク実行の重要な領域として機能し、破壊的な更新に対して高い安定性を維持することが明らかになった。 この結果から, 深層を凍結させながら浅い層をトレーニングし, C-Eval と CMMLU のベンチマークにおいて, フルパラメータ微調整と逆のアロケーションを常に上回ることを示した。 さらに,高品質な事前学習モジュールを深層に配置することで,モデル固有の知識を効果的に保存できることを検証したハイブリッドモデルケーススタディを提案する。 この作業は、リソース制約のあるチームに対して低コストで解釈可能なソリューションを提供し、継続的な事前トレーニングとハイブリッドモデル構築において、階層的なパラメータ割り当てのための実用的なガイダンスを提供する。

関連論文リスト

• Trust, but Verify: Peeling Low-Bit Transformer Networks for Training Monitoring [20.854288216118423]
  本稿では,各層がトレーニングされたモデルの表現に対して局所的に最適化される動的学習のための層ワイド剥離フレームワークを提案する。 デコーダのみのトランスモデルの実験では、これらのレイヤワイド参照バウンダリが、様々な段階でトレーニングされたモデルにマッチしたり、超えたりできることを示している。
  論文  参考訳（メタデータ） (2026-05-04T17:30:50Z)
• SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
  分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。 重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。 実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
  論文  参考訳（メタデータ） (2026-03-03T23:51:10Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning [9.51289606759621]
  大規模言語モデル(LLM)の訓練と微調整には、メモリと計算要求に関する課題が伴う。 低ランク適応(LoRA)など、これらの課題に対処する様々な技術が開発されている。 トレーニングが進むにつれて、推定勾配のランクが徐々に低下する現象に着想を得た新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-10-23T13:53:26Z)
• Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning [0.0]
  強化学習(RL)による微調整基礎モデルは、下流の目標に整合する上で有望であることが証明されている。 拡散モデル (DM) の階層的性質を生かし, 各エポックでRL法で動的に訓練する。 HRFで訓練したモデルは、下流タスクにおける多様性の保存性を向上し、微調整の堅牢性を高め、平均報酬を損なうことなく達成できることが示される。
  論文  参考訳（メタデータ） (2024-10-10T19:06:23Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Exploring Heterogeneous Characteristics of Layers in ASR Models for More Efficient Training [1.3999481573773072]
  ランとモデルサイズにまたがるこれらの層の安定性について検討する。 群正規化は, 群形成を乱すことなく適用できる可能性が示唆された。 これらの知見をフェデレートラーニングに適用して,トレーニング手順の改善を図る。
  論文  参考訳（メタデータ） (2021-10-08T17:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。