論文の概要: Target noise: A pre-training based neural network initialization for efficient high resolution learning

• arxiv url: http://arxiv.org/abs/2602.06585v1
• Date: Fri, 06 Feb 2026 10:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.355227
• Title: Target noise: A pre-training based neural network initialization for efficient high resolution learning
• Title（参考訳）: ターゲットノイズ:高分解能学習のための事前学習型ニューラルネットワークの初期化
• Authors: Shaowen Wang, Tariq Alkhalifah,
• Abstract要約: 本稿では、ランダムノイズをターゲットとした自己教師型事前学習に基づく、シンプルで効果的なニューラルネットワーク事前学習戦略を提案する。 このノイズ駆動事前学習は、追加のデータやネットワークアーキテクチャの変更を必要とせずに、その後のタスクの収束速度を大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 4.186531258193163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight initialization plays a crucial role in the optimization behavior and convergence efficiency of neural networks. Most existing initialization methods, such as Xavier and Kaiming initializations, rely on random sampling and do not exploit information from the optimization process itself. We propose a simple, yet effective, initialization strategy based on self-supervised pre-training using random noise as the target. Instead of directly training the network from random weights, we first pre-train it to fit random noise, which leads to a structured and non-random parameter configuration. We show that this noise-driven pre-training significantly improves convergence speed in subsequent tasks, without requiring additional data or changes to the network architecture. The proposed method is particularly effective for implicit neural representations (INRs) and Deep Image Prior (DIP)-style networks, which are known to exhibit a strong low-frequency bias during optimization. After noise-based pre-training, the network is able to capture high-frequency components much earlier in training, leading to faster and more stable convergence. Although random noise contains no semantic information, it serves as an effective self-supervised signal (considering its white spectrum nature) for shaping the initialization of neural networks. Overall, this work demonstrates that noise-based pre-training offers a lightweight and general alternative to traditional random initialization, enabling more efficient optimization of deep neural networks.
• Abstract（参考訳）: 重み初期化は、ニューラルネットワークの最適化挙動と収束効率において重要な役割を果たす。 Xavier や Kaiming といった既存の初期化手法の多くはランダムサンプリングに依存しており、最適化プロセス自体からの情報を活用していない。 本稿では,ランダムノイズをターゲットとした自己教師型事前学習に基づく,シンプルで効果的な初期化戦略を提案する。 ランダムな重みからネットワークを直接トレーニングする代わりに、まずランダムノイズに適合するように事前訓練し、構造化され非ランダムなパラメータ構成につながる。 このノイズ駆動事前学習は、追加のデータやネットワークアーキテクチャの変更を必要とせずに、その後のタスクの収束速度を大幅に改善することを示す。 提案手法は、特に暗黙的ニューラル表現(INR)とディープイメージ優先(DIP)スタイルのネットワークに有効であり、最適化中に強い低周波バイアスを示すことが知られている。 ノイズベースの事前トレーニングの後、ネットワークはトレーニングのずっと早い段階で高周波コンポーネントをキャプチャすることができ、より速く、より安定した収束をもたらす。 ランダムノイズには意味情報はないが、ニューラルネットワークの初期化を形作るための効果的な自己教師信号(ホワイトスペクトルの性質を考える)として機能する。 全体として、この研究はノイズベースの事前学習が従来のランダム初期化の軽量で汎用的な代替手段であり、ディープニューラルネットワークのより効率的な最適化を可能にすることを実証している。

関連論文リスト

• Neural network initialization with nonlinear characteristics and information on spectral bias [0.0]
  重みやバイアスなどのニューラルネットワークパラメータの初期化は、学習のパフォーマンスに決定的な影響を及ぼす。 本稿では、SWIMアルゴリズムのスケール係数を調整し、初期隠蔽層内の低周波成分を捕捉するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-04T04:15:32Z)
• NeRF-based CBCT Reconstruction needs Normalization and Initialization [53.58395475423445]
  NeRFベースの手法は、ハッシュエンコーダとニューラルネットワークという2つの主要なコンポーネント間の局所的な訓練ミスマッチに悩まされる。 特徴整合性を高め、ミスマッチを緩和する正規化ハッシュを導入する。 ニューラルネットワークは早期トレーニング中に安定性が向上し、より高速な収束と再構築性能が向上する。
  論文  参考訳（メタデータ） (2025-06-24T16:01:45Z)
• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Sparser, Better, Deeper, Stronger: Improving Sparse Training with Exact Orthogonal Initialization [49.06421851486415]
  静的スパーストレーニングは、スパースモデルをスクラッチからトレーニングすることを目的としており、近年顕著な成果を上げている。 ランダムなアジェンダ回転に基づく新しいスパースな直交初期化スキームであるExact Orthogonal Initialization (EOI)を提案する。 本手法は,残差接続や正規化を伴わずに,1000層ネットワークとCNNネットワークを疎結合に訓練することができる。
  論文  参考訳（メタデータ） (2024-06-03T19:44:47Z)
• Pretraining with Random Noise for Fast and Robust Learning without Weight Transport [6.916179672407521]
  ランダムノイズを伴う事前学習ニューラルネットワークは、学習効率を向上し、重量輸送を伴わない一般化能力も向上することを示す。 ランダムノイズとデータの両方による連続的なトレーニングは、データのみによるトレーニングよりもシナプス的なフィードバックに近い重みをもたらす。 この事前正規化により、ネットワークは低ランクの単純な解を学習でき、その後の訓練における一般化損失を減らすことができる。
  論文  参考訳（メタデータ） (2024-05-27T00:12:51Z)
• Robust Learning of Parsimonious Deep Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。 最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。 我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
  論文  参考訳（メタデータ） (2022-05-10T03:38:55Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。