論文の概要: The Surprising Effectiveness of Noise Pretraining for Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2603.29034v1
• Date: Mon, 30 Mar 2026 22:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:02.881238
• Title: The Surprising Effectiveness of Noise Pretraining for Implicit Neural Representations
• Title（参考訳）: 暗示的ニューラル表現におけるノイズ事前学習の有効性について
• Authors: Kushal Vyas, Alper Kayabasi, Daniel Kim, Vishwanath Saragadam, Ashok Veeraraghavan, Guha Balakrishnan,
• Abstract要約: 我々は様々な雑音のクラスに暗黙的神経表現(INR)を事前訓練し、未知の信号に適合し、逆撮像タスク(デノジング)の先行情報をエンコードする能力を測定する。 画像データと映像データを解析した結果,非構造雑音に対する事前学習は,他のすべてのベースラインと比較して信号の取付け能力を向上させることがわかった。 この発見により、十分な事前のドメイン固有データを持たないアプリケーションにおいて、より効率的なINRトレーニングが可能になる。
• 参考スコア（独自算出の注目度）: 25.530854386619755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The approximation and convergence properties of implicit neural representations (INRs) are known to be highly sensitive to parameter initialization strategies. While several data-driven initialization methods demonstrate significant improvements over standard random sampling, the reasons for their success -- specifically, whether they encode classical statistical signal priors or more complex features -- remain poorly understood. In this study, we explore this phenomenon through a series of experimental analyses leveraging noise pretraining. We pretrain INRs on diverse noise classes (e.g., Gaussian, Dead Leaves, Spectral) and measure their ability to both fit unseen signals and encode priors for an inverse imaging task (denoising). Our analyses on image and video data reveal a surprising finding: simply pretraining on unstructured noise (Uniform, Gaussian) dramatically improves signal fitting capacity compared to all other baselines. However, unstructured noise also yields poor deep image priors for denoising. In contrast, we also find that noise with the classic $1/|f^α|$ spectral structure of natural images achieves an excellent balance of signal fitting and inverse imaging capabilities, performing on par with the best data-driven initialization methods. This finding enables more efficient INR training in applications lacking sufficient prior domain-specific data. For more details, visit project page at https://kushalvyas.github.io/noisepretraining.html
• Abstract（参考訳）: 暗黙的神経表現(INR)の近似と収束特性はパラメータ初期化戦略に非常に敏感であることが知られている。 データ駆動初期化法は、標準的なランダムサンプリングよりも大幅に改善されているが、その成功の理由は、特に、古典的な統計信号のプリエンコードか、より複雑な特徴かは、未理解のままである。 本研究では,この現象を,騒音事前学習を利用した一連の実験的分析を通じて検討する。 我々は、様々なノイズクラス(例えば、ガウシアン、死葉、スペクトル)でINRを事前訓練し、未知の信号に適合し、逆撮像タスク(デノイング)の事前を符号化する能力を測定する。 画像データと映像データを解析した結果,非構造雑音(Uniform, Gaussian)を事前学習するだけで,他のすべてのベースラインと比較して信号の取付け能力が劇的に向上することがわかった。 しかし、非構造ノイズは、デノナイジングのための深部画像の先行性を損なう。 対照的に、自然画像の古典的な1/|f^α|$スペクトル構造を持つノイズは、信号フィッティングと逆イメージングの優れたバランスを実現し、最良のデータ駆動初期化法と同等の性能を発揮する。 この発見により、十分な事前のドメイン固有データを持たないアプリケーションにおいて、より効率的なINRトレーニングが可能になる。 詳しくは、https://kushalvyas.github.io/noisepretraining.com/noisepretrainingをご覧ください。

関連論文リスト

• Improving Accuracy and Efficiency of Implicit Neural Representations: Making SIREN a WINNER [0.0]
  我々は正弦波表現ネットワーク(SIREN)の基本的制限を特定し、対処する。 極端な場合、ネットワークの周波数サポートがターゲットスペクトルと不一致した場合、「スペクトルボトルネック」が観測される。 ニューラル表現のためのノイズ付きウェイト初期化を提案する。
  論文  参考訳（メタデータ） (2025-09-16T11:41:13Z)
• Beyond Image Prior: Embedding Noise Prior into Conditional Denoising Transformer [17.430622649002427]
  既存の学習ベースの推論手法は、大規模なデータセットからイメージを一般化するためにモデルを訓練するのが一般的である。 本稿では,ノイズと画像の先行部分の分離を区別することによる,難読化問題に対する新たな視点を提案する。 本稿では,1つの生雑音画像から直接先行する雑音を正確に推定する局所雑音優先推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-12T08:43:11Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。