論文の概要: What Should We Freeze? Guarded Freezing: Connectivity Shapes the Fine-Tuning of Pretrained Models

• arxiv url: http://arxiv.org/abs/2609.32124v1
• Date: Sat, 26 Sep 2026 00:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:04:11.952394
• Title: What Should We Freeze? Guarded Freezing: Connectivity Shapes the Fine-Tuning of Pretrained Models
• Title（参考訳）: 冷やすべきことは何か? ガード付き凍結は、事前訓練されたモデルの微調整を形作る
• Abstract要約: 我々は、選択した凍結コアを分離できる場合を分析し、除去値を提案する。 VGG-8では、トレーニング可能なニューロンから凍結したコアへの切断経路が、このスコアを用いた選択に有用であることを示す。 我々は,各重み入力を局所更新モデルで更新することによる出力乱れのフォワード専用プロキシであるドリフト値の導出を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When adapting pre-trained models through fine-tuning, freezing weights alone might not preserve performance, as updates elsewhere can change the inputs to the frozen core, ultimately affecting overall performance. We first analyse the case where a selected frozen core can be isolated and propose removal-value, a capacity-based score that approximates HOPE's removal cost averaged over removal orders. We show that in VGG-8, cutting paths from trainable neurons into a frozen core makes selection using this score useful: $70\%$ frozen preserves $5.22\pm0.51$ percentage points more old-task accuracy than DEFT at similar new-task accuracy. In transformers, shared residual streams leave paths into frozen neurons open. For this case, we derive drift-value, a forward-only proxy for the output disturbance from updating each weight entry under a local update model. In language models, at 40 epochs, this policy exceeds adapted Wanda and RIA freezing scores in settings with substantial retention loss, while its differences from Fisher remain unresolved. After 160 epochs on Qwen2.5-1.5B, it retains $0.0433\pm0.0102$ more than static Fisher. In DINOv3 vision-transformer adaptation to point clouds, drift-value retains $0.440$ image accuracy versus $0.187$ for a random mask of the same count. These results motivate Guarded Freezing: select by removal-value when incoming paths are cut, and by drift-value when they remain.
• Abstract（参考訳）: 微調整によって事前訓練されたモデルを適用する場合、凍結重量だけでは性能を保たない可能性がある。 まず、選択した凍結コアを分離できるケースを分析し、HoPEの除去コストを除去注文よりも平均的に近似したキャパシティベースのスコアである除去値を提案する。 VGG-8では、トレーニング可能なニューロンから凍結したコアへの切断経路が、このスコアを使用して選択するのに役立つ。 トランスでは、共有残基ストリームは凍結したニューロンへの経路を開放する。 この場合、各重み入力を局所更新モデルで更新することから、出力乱れのフォワード専用プロキシであるドリフト値を導出する。 言語モデルでは、40年代において、このポリシーはWanda と RIA の凍結スコアをかなり保持損失のある設定で上回り、フィッシャーとの違いは未解決のままである。 Qwen2.5-1.5Bでの160エポックの後、静的フィッシャーよりも0.0433\pm0.0102$高い。 点雲へのDINOv3視覚変換器の適応では、ドリフト値は同じ数のランダムマスクに対して0.440$イメージの精度が0.187$である。 これらの結果はガードド・フリーズを動機づける: 進路が切断されたときの除去値、残るときのドリフト値によって選択する。

関連論文リスト

• Propagate, Then Sharpen: Post-Hoc Refinement of Frozen Node Classifiers [1.4401311275746886]
  Propagate, Then Sharpen (PtS) はクラス確率の伝搬とノード単位の大量保存検証ノードを交互に行う。 PtSは、独立に調整されたAPPNPよりも、クリーンな入力に対して1.71ドル、深刻な機能腐敗の下で3.90ドルの平均テスト精度を向上することを示した。
  論文  参考訳（メタデータ） (2026-09-28T13:01:47Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Delayed Optimizer-State Transport Shapes Short-Horizon Training Decisions [0.0]
  遅延輸送が短期的決定を変えるのに十分な大きさであるかどうかを検討する。 提案手法では,全モデル最適化状態から8ステップのAdamWを区別する。
  論文  参考訳（メタデータ） (2026-08-25T14:18:29Z)
• The Silent Freeze: Predicting When Low-Precision Training Stops Learning [0.0]
  浮動小数点精度の低下による訓練は、静かに学習を止めることができる。 凍結は決定論的であり、調整された半ULP条件によって制御される。 凍結機能回帰、マニサ・トランケーション・エミュレータ、およびMNIST上のCNN間の条件伝達。
  論文  参考訳（メタデータ） (2026-07-09T15:23:42Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Neural and Time-Series Approaches for Pricing Weather Derivatives: Performance and Regime Adaptation Using Satellite Data [0.0]
  本稿では,温度と降水量に関する気象デリバティブ(WD)契約の価格について検討する。 我々は、フィードフォワードニューラルネットワーク(NN)に対してハーモニック回帰/ARMAモデルをベンチマークし、NNがサンプル外平均二乗誤差(MSE)を低減することを発見した。 降水には多季にわたる30日間の降雨シーケンスでトレーニングされた畳み込みニューラルネットワーク(CNN)を用いて,形状とスケールパラメータを最大推定(MLE)および推定する。
  論文  参考訳（メタデータ） (2024-11-18T19:54:28Z)
• Data-Free Dynamic Compression of CNNs for Tractable Efficiency [46.498278084317704]
  構造化プルーニング手法は, 精度が大幅に低下することなく浮動小数点演算を低下させる可能性を示唆している。 HASTE(Hashing for Tractable Efficiency)は,データフリーでプラグイン・アンド・プレイのコンボリューションモジュールで,トレーニングや微調整なしにネットワークのテスト時間推論コストを瞬時に低減する。 CIFAR-10とImageNetでは46.72%のFLOPを1.25%の精度で削減した。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
  敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。 主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。 我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T01:39:37Z)
• FreezeNet: Full Performance by Reduced Storage Costs [68.8204255655161]
  プルーニングはパラメータを0に設定することでスパースネットワークを生成する。 我々は、追加のストレージコストを加えることなく、トレーニング前に適用したワンショットプルーニング法を改善した。 我々はFreezeNetsが特に極端凍結速度で良い結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-11-28T08:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。