論文の概要: Adaptive-Depth Is a Finishing Stage

• arxiv url: http://arxiv.org/abs/2610.14252v1
• Date: Fri, 09 Oct 2026 19:14:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:28:34.836327
• Title: Adaptive-Depth Is a Finishing Stage
• Title（参考訳）: Adaptive-Depthは、フィニッシュステージ
• Abstract要約: ループ変換器は同じ層を何度も再利用し、モデルを変更することなく推論計算を調整できる。 最近の適応深度法は、トレーニングの開始から複数のループ深さにわたってモデルを訓練する。 モデル深度はトレーニングの最終段階の短い段階でのみ変化する固定ファーストトレーニングを導入する。
• 参考スコア（独自算出の注目度）: 1.3151028145059553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped transformers reuse the same layer multiple times, allowing inference compute to be adjusted without changing the model. Recent adaptive-depth methods train the model across multiple loop depths from the beginning of training. We introduce fixed-first training, which varies model depth only during a short final phase of training. At 200M parameters, training a model of fixed-depth 2 for the first 67% of the run reduces modeled training compute by 45% while keeping mean negative log-likelihood (NLL) across inference depths within 0.5% of training across depths throughout. At 1B parameters, training initially at depth 4 reduces modeled compute by 31% to 37% and wall-clock time by 32% to 39%, while keeping final NLL within 0.8% and downstream differences within the observed seed variation. These results show that training over the full range of depths can be reserved for a short finishing phase with only small changes in performance.
• Abstract（参考訳）: ループ変換器は同じ層を何度も再利用し、モデルを変更することなく推論計算を調整できる。 最近の適応深度法は、トレーニングの開始から複数のループ深さにわたってモデルを訓練する。 モデル深度はトレーニングの最終段階の短い段階でのみ変化する固定ファーストトレーニングを導入する。 2Mパラメータでは、実行の最初の67%で固定深度2のモデルをトレーニングすることで、モデルによるトレーニング計算を45%削減し、平均負のログ類似度(NLL)を深さの0.5%以内の推論深度で維持する。 1Bパラメータでは、最初は深度4のトレーニングにより、モデル計算を31%から37%、壁時計時間を32%から39%減らし、最終NLLは0.8%、下流の差は観測された種子の変化で維持する。 これらの結果から,全深度でのトレーニングを短時間で行うことができ,性能の変化は少ないことがわかった。

関連論文リスト

• LiFT: Loop Flow Transformers [50.488069867161556]
  ループフロー変換器(LiFT)は、共有拡散変換器(DiT)コアを繰り返し適用することにより、計算をスケールする。 LiFTは各ステップを1つの回帰目標(モデルの初期推定からフローマッチング目標への直線経路上の点)で訓練する。 256x256のImageNetでは、LiFT-L/2は高密度のDiT-XL/2ベースラインよりもFID 3.34ポイント低い。
  論文  参考訳（メタデータ） (2026-10-04T21:11:47Z)
• Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting [34.224490336271806]
  フラットなミニマに向けてバイアス最適化を行う3つの事前学習最適化手法について検討する。 モデルのサイズは20Mから1億5000Mの範囲で、これらの介入はポストトレーニング後のダウンストリーム性能を継続的に改善する。 既存のOLMo-2-1Bチェックポイントに適用されたSAM中間トレーニングフェーズは、メタマス後トレーニング後の31%、4ビット量子化後の40%の遅延を減少させる。
  論文  参考訳（メタデータ） (2026-05-04T00:02:23Z)
• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)
• Deep Progressive Training: scaling up depth capacity of zero/one-layer models [19.649807308477527]
  最適化理論のレンズによる大型モデルの深度展開について検討する。 計算と損失の最適トレードオフのためのゼロ/1層プログレッシブトレーニングを提案する。
  論文  参考訳（メタデータ） (2025-11-07T04:56:45Z)
• PreLoRA: Hybrid Pre-training of Vision Transformers with Full Training and Low-Rank Adapters [2.5547655072779]
  本稿では, 部分収束状態の同定と, ViT-Large モデル上での完全パラメータトレーニングからローランド適応 (LoRA) への切り替えを提案する。 実験結果から,本手法はモデルの精度を保ちながら,トレーニング可能なパラメータの数を元のサイズの10%に減らしていることがわかった。
  論文  参考訳（メタデータ） (2025-09-25T21:34:17Z)
• A Stable Whitening Optimizer for Efficient Neural Network Training [99.7641280234926]
  アルゴリズムのシャンプー系をベースとして,3つの重要な問題を同定・緩和し,SPlus法を提案する。 まず,行列逆が長期にわたってキャッシュされる場合,素早いシャンプーは分岐しがちであることがわかった。 第二に、ネットワーク幅をまたいで学習率の伝達を可能にするために、形状認識スケーリングを適用する。 第3に,高い学習率によってパラメータノイズが大きくなり,より高速な学習をブロックする簡単な反復学習方式を提案する。
  論文  参考訳（メタデータ） (2025-06-08T18:43:31Z)
• Efficient NLP Model Finetuning via Multistage Data Filtering [11.058786955754004]
  ターゲットモデルのトレーニングと合わせて,トレーニングサンプルをストリーミング形式でフィルタすることにしました。 1)後方トレーニングパスをスキップするためのトレーニング損失閾値を自動的に決定し,(2)前方トレーニングパスをスキップするためのメタ予測器を実行する。 本手法では,必要なトレーニング例を最大5.3$times$に,トレーニング時間を最大6.8$times$に短縮する。
  論文  参考訳（メタデータ） (2022-07-28T21:43:31Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。