論文の概要: Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks

• arxiv url: http://arxiv.org/abs/2606.27759v1
• Date: Fri, 26 Jun 2026 06:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.395838
• Title: Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks
• Title（参考訳）: Layerwise Progressive Freezing:Depth-Scalable Binary Networksのためのトレーニングシナリオ
• Abstract要約: スクラッチからのバイナリニューラルネットワーク(BNN)のトレーニングは、ストレートスルー推定器(STE)が支配している 我々はStoMPPを導入し、クリップされた重みとアクティベーションを、入力から出力までの層ごとにハードバイナリの層に徐々に置き換える。 スタンドアロンのトレーニングルールとして、完全なSTEフリープロシージャを提供し、バニラSTEよりも深く成長するゲインを改善している。
• 参考スコア（独自算出の注目度）: 1.1516147824168732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training binary neural networks (BNNs) from scratch is dominated by the straight-through estimator (STE), whose forward/backward mismatch produces severe accuracy degradation as networks deepen. We study an orthogonal axis: when and where binarization is enforced during training. We introduce StoMPP (Stochastic Masked Partial Progressive Binarization), which gradually replaces clipped weights and activations with their hard binary counterparts layer by layer from input to output, using stochastic partial masks with soft refresh. StoMPP delivers two complementary benefits. As a standalone training rule, it provides a fully STE-free procedure that improves over vanilla STE with gains that grow with depth (ResNet-50 BNN: +18.0/+13.5/+3.8 on CIFAR-10/100/ImageNet), and the pattern holds across ResNet-18/34/50, MobileNetV2, and BERT fine-tuning. Composed with surrogate gradients by applying STE only to frozen entries, it reaches +27.1/+19.8/+17.7 over vanilla STE on the same setting. Underlying both regimes is a single mechanistic finding: progression order is decisive. Forward layerwise progression prevents depth collapse, reverse progression collapses to near-chance, and binary-weight networks (without binary activations) are insensitive to order. We trace this asymmetry to activation-induced gradient blockades: a committed binary activation severs gradient flow upstream, and ordering controls when these blockades form. To isolate the progression's contribution from any benefit conferred by STE, we conduct all ablations in the STE-free regime; the resulting characterization (schedule, refresh, ordering, dynamics) thus reflects the progression itself rather than its interaction with surrogate gradients.
• Abstract（参考訳）: スクラッチからバイナリニューラルネットワーク(BNN)をトレーニングするにはストレートスルー推定器(STE)が使用される。 トレーニング中に二項化をいつ,どこで実施するかという直交軸について検討する。 我々はStoMPP(Stochastic Masked partial Progressive Binarization)を導入し、ソフトリフレッシュされた確率的部分マスクを用いて、カットした重みとアクティベーションを、入力から出力までの層別のハードバイナリ層に徐々に置き換える。 StoMPPは2つの相補的な利点を提供する。 スタンドアロンのトレーニングルールとして、VasNet-50 BNN: +18.0/+13.5/+3.8、CIFAR-10/100/ImageNetでは、VasNet-34/50、MobileNetV2、BERTの微調整により、VasNet-50 BNNよりも改善された完全なSTEフリープロシージャを提供する。 凍結したエントリのみにSTEを適用することで代理勾配を組み、同じ設定でバニラSTE上で+27.1/+19.8/+17.7に達する。 両方の体制の下に置くことは、単一の機械的発見である:進行順序は決定的である。 前向きの進行は深さの崩壊を防ぎ、逆の進行は近距離への崩壊を防ぎ、(バイナリアクティベーションなしで)二分重ネットワークは順序に敏感である。 この非対称性をアクティベーションによって誘導されるグラデーション・ブロッカド(英語版)に追従する: コミットされたバイナリ・アクティベーション・セバー・グラデーション・フローが上流に流れ、これらのブロッカドが形成されたときの順序制御である。 STEが与える利益から進歩の貢献を分離するために、我々はSTEのない体制で全ての改善を行い、結果として生じる特徴(スケジュール、リフレッシュ、秩序、ダイナミクス)は、代理勾配との相互作用よりも進行そのものを反映する。

関連論文リスト

• Latent Reward Registers for Diffusion Preference Alignment [46.49072106092868]
  本稿では,中間雑音の遅延から端末の好みを推定するメカニズムであるLatent Reward Registersを提案する。 この独立した読み出し機構は、発電機の隠された状態や速度場を変えることなく、潜伏した報酬証拠を抽出する。 トレーニングのために、Reward-Gradient On-Policy Distillation (RG-OPD) は、標準的な政策勾配の計算的に高価なロールアウトを回避し、報酬誘導された更新をオンライン軌道に沿って蒸留する。 推論のためには、Reward-Guided Sampling (RGS) はパラメータ更新なしで大小マッチングされた報酬勾配を経由する。
  論文  参考訳（メタデータ） (2026-08-04T17:00:52Z)
• CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry [34.36337082439934]
  ディープトランスフォーマーは、一様に積み重ねられた残余ブロックで構成されているが、最も深いレイヤは、ほとんど価値を与えない。 この非対称性を利用する2つの効率方法を提案する。 CascadeFormerは、レイヤー間の不均一な情報フローに一致する深さで幅をテーパーし、同じトレーニング予算で均一なベースラインに匹敵する難易度を実現し、レイテンシを8.6%削減し、スループットを9.4%向上させた。
  論文  参考訳（メタデータ） (2026-06-25T02:25:00Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• A lift for input-convex neural network training [3.142113135607563]
  In Inputdimensional Neural Network (ICNN) は、対数凹密度推定、凸ポテンシャル正規化フロー、最適輸送、後部へのトランスポートマップインバージョンに使用される。 非負の円錐への標準射影勾配降下(PGD)は、硬く非滑らかな投影を施す。 微分可能な代替品であるソフト・プラス・リパラメトリゼーション (Softplus reparametrization) は、重量級数で指数関数的に勾配を減衰させ、層間重量損失を減少させる訓練を停止させる。 揚力はPGDと直接ソフトプラスよりも低い試験損失を示し,プラトーバウンドトレーニングを1つにする。
  論文  参考訳（メタデータ） (2026-05-22T22:59:11Z)
• AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning [0.0]
  ロボット制御に事前訓練された視覚言語モデル(VLM)を適用するには、フローマッチングアクションエキスパートから高次連続勾配を、クロスエントロピーに特化して訓練されたバックボーンに注入する必要がある。 このクロスモーダル勾配非対称性は、VLMの視覚的問合せ能力(VQA)の急激で激しい侵食を引き起こす。 産業標準防衛は、勾配経路を完全に停止勾配で切断し、豊かな継続的監督を放棄するか、または、更新のランクを制約するローランクアダプタ(LoRA)を通してパラメータ容量を制限するか、したがって、訓練済み多様体を上書きする。
  論文  参考訳（メタデータ） (2026-04-17T13:49:57Z)
• On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD [93.70725920710208]
  ラベル雑音による勾配降下の学習力学について検討する。 遅延からリッチな体制への移行を駆動する上で,ラベルノイズが重要な役割を担っていることを強調する。 これらの知見をSAM(Sharpness-Aware Minimization)に拡張し、ラベルノイズSGDを規定する原理がより広範な最適化アルゴリズムにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-11T04:26:54Z)
• Layerwise Progressive Freezing Enables STE-Free Training of Deep Binary Neural Networks [1.1516147824168732]
  スクラッチからバイナリネットワークをトレーニングするためのストレートスルー推定器(STE)の代替として,進行凍結について検討した。 制御されたトレーニング条件下では、グローバルなプログレッシブ・フリーズがバイナリ・ウェイト・ネットワークで機能する一方で、アクティベーションによって引き起こされる障害により、完全なバイナリ・ニューラル・ネットワークでは機能しないことがわかった。 我々はStoMPPを導入する。StoMPPはレイヤーワイズマスキングを用いて、切り取り可能な重み付け/アクティベーションをハードバイナリステップ関数に段階的に置き換える。
  論文  参考訳（メタデータ） (2026-01-30T07:26:10Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks [4.21061712600981]
  本稿では、教師付き(分類と回帰)および教師なし(強化学習)シナリオにおいて、ディープニューラルネットワークを訓練するための新しいアルゴリズムを提案する。 このアルゴリズムは、標準降下勾配と勾配クリッピング法を組み合わせたものである。 理論的および実験を通して、我々のアルゴリズム更新はばらつきが低く、トレーニング損失はスムーズな方法で減少することを示す。
  論文  参考訳（メタデータ） (2023-05-20T07:18:06Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination [202.2562153608092]
  本稿では,2段階の逐次回帰トラッカーを提案する。 第1段階では, 容易に同定可能な負の候補を抽出する。 第2段階では、残留するあいまいな硬質試料をダブルチェックするために、離散サンプリングに基づくリッジ回帰を設計する。
  論文  参考訳（メタデータ） (2020-06-18T07:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。