論文の概要: Pre-Warm: Input-Conditioned Weight Initialization for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2606.25256v1
• Date: Wed, 24 Jun 2026 00:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.17211
• Title: Pre-Warm: Input-Conditioned Weight Initialization for Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークの入出力重み初期化
• Abstract要約: Pre-Warmは、単一のトレーニングバッチから平均中心のローカルパッチを抽出する。 それらをMiniKMeansでクラスタし、逆マンハッタン空間重み付けを適用し、その結果のセントロイドを使って第1層フィルタの半分を初期化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We introduce Pre-Warm, a simple yet effective zero-training-cost method for data-conditioned initialization of the first convolutional layer. Before the first forward pass, Pre-Warm extracts mean-centered local patches from a single training batch, clusters them with MiniBatchKMeans, applies inverse Manhattan spatial weighting, and uses the resulting centroids to initialize half of the first-layer filters (the remainder retain Kaiming initialization). We derive closed-form rules for all hyperparameters except a single insensitive scale parameter, though we derive a Kaiming parity bound on scale from patch dimensionality. For grayscale datasets we use Otsu's foreground density; for natural color images we use the mean L2 norm of mean-centered patches. Both rules accurately predict the optimal patch count observed in grid search. Across five standard benchmarks -- MNIST, Fashion-MNIST, CIFAR-10, SVHN, and CIFAR-100 -- and 8-seed paired experiments, Pre-Warm yields statistically significant accuracy improvements over standard Kaiming initialization (p < 0.05 on all datasets, p = 0.0007 on SVHN with 8/8 wins, p = 0.0033 on CIFAR-100 with 7/8 wins). The method adds negligible overhead, requires no architectural changes, and integrates into existing training pipelines with only a few lines of code. Pre-Warm demonstrates that even a lightweight, input-dependent signal can meaningfully improve optimization trajectories in modern convolutional networks.
• Abstract（参考訳）: 本稿では,第1畳み込み層のデータ条件付き初期化のための簡易かつ効果的なゼロトレーニングコスト法であるPre-Warmを紹介する。 最初の前方通過の前に、Pre-Warmは1つのトレーニングバッチから平均中心のローカルパッチを抽出し、MiniBatchKMeansとクラスタ化し、逆マンハッタン空間重み付けを適用し、結果のセントロイドを使用して第1層フィルタの半分を初期化する(残りはカイミング初期化を維持する)。 我々は、パッチ次元からスケールに有界なカイミングパリティを導出するが、1つの非感性スケールパラメータを除く全てのハイパーパラメータに対して閉形式規則を導出する。 グレースケールのデータセットでは、大津の前景密度を使用し、自然色画像では平均中心パッチの平均L2ノルムを使用します。 どちらのルールも、グリッドサーチで観測される最適なパッチ数を正確に予測する。 MNIST、Fashion-MNIST、CIFAR-10、SVHN、CIFAR-100の5つの標準ベンチマークと8シードのペア実験、Pre-Warmは標準的なカイミング初期化よりも統計的に有意な精度の改善をもたらす(すべてのデータセットではp < 0.05、SVHNではp = 0.0007、CIFAR-100ではp = 0.0033、7/8の勝利)。 このメソッドは無視可能なオーバーヘッドを追加し、アーキテクチャの変更を必要とせず、数行のコードだけで既存のトレーニングパイプラインに統合する。 Pre-Warmは、軽量で入力に依存した信号でさえ、現代の畳み込みネットワークにおける最適化軌道を有意義に改善できることを示した。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models [37.194177406897964]
  サンプル空間カーネルリッジソルバを用いて合成集合によって誘導される線形プローブを計算する閉形式定式化を提案する。 事前訓練された4つのバックボーンを持つImageNet-100では、CLP-DDはDSAなしでLGMよりも大幅に改善され、計算コストのごく一部でDSAでLGMにアプローチする。 ImageNet-1Kでは、CLP-DDが4つのバックボーンのうち3つでLGMとDSAをマッチまたはオーバーし、約14時間で動作し、GPUメモリの8分の1以下を使用する。
  論文  参考訳（メタデータ） (2026-05-08T03:41:51Z)
• Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents [19.368928130932833]
  Rudderは最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールである。 我々は、リモートノードを自律的にプリフェッチするために、最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールであるRudderを紹介した。 LLM(Large Language Models)に見られる生成AIは、ゼロショットタスクのためのICL(In-Context Learning)のような創発的な特性を示し、論理的多段階推論を行う。
  論文  参考訳（メタデータ） (2026-02-26T23:39:42Z)
• IPTQ-ViT: Post-Training Quantization of Non-linear Functions for Integer-only Vision Transformers [15.498250598583484]
  視覚変換器の量子化アウェアトレーニング(QAT)手法は、非線形層量子化における精度損失を回復するために、高価なリトレーニングに依存している。 既存のPTQ(Post-Training Quantization)手法は、非線形関数を部分的に定量化するか、アクティベーション分布を調整して精度を維持するが、完全に整数のみの推論を達成できない。 IPTQ-ViTは、完全に整数のみの視覚変換を行うための新しいPTQフレームワークである。
  論文  参考訳（メタデータ） (2025-11-19T11:56:16Z)
• Distribution-Aware Tensor Decomposition for Compression of Convolutional Neural Networks [4.322339935902436]
  テンソル化と低ランク表現による圧縮に焦点を当てる。 関数空間の誤差を測定するために、データインフォームドノルムを使用します。 従来の圧縮パイプラインとは異なり、データインフォームドアプローチは微調整なしで競争精度を達成できることが多い。
  論文  参考訳（メタデータ） (2025-11-06T16:15:15Z)
• POME: Post Optimization Model Edit via Muon-style Projection [74.73326657229347]
  POME(Post-Optimization Model Edit)は、微調整された大規模言語モデルの性能を向上させる。 デルタW$のミューオン式のプロジェクションを使い、微調整された重量と事前訓練された重量の違いを区別する。 単純な後処理ステップとして、POMEはトレーニングパイプラインから完全に分離される。
  論文  参考訳（メタデータ） (2025-10-08T04:20:11Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• An Improved Normed-Deformable Convolution for Crowd Counting [70.02434289611566]
  頭の中のCNN機能のスケール適応機能を活用するために、変形可能な畳み込みを提案する。 本論文では,改良されたノーマッド・デフォルマブル・コンボリューション(textiti.e.NDConv)を提案する。 本手法は,上海技術A,上海技術B,UCF_QNRF,UCF_CC_50データセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-16T10:56:26Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。