論文の概要: Ditch the Denoiser: Emergence of Noise Robustness in Self-Supervised Learning from Data Curriculum

• arxiv url: http://arxiv.org/abs/2505.12191v1
• Date: Sun, 18 May 2025 01:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.083576
• Title: Ditch the Denoiser: Emergence of Noise Robustness in Self-Supervised Learning from Data Curriculum
• Title（参考訳）: Ditch the Denoiser: データカリキュラムによる自己指導型学習におけるノイズロバスト性の発生
• Authors: Wenquan Lu, Jiaqi Zhang, Hugues Van Assel, Randall Balestriero,
• Abstract要約: 自己監視学習(SSL)は、ラベルのないデータからリッチな表現を抽出する強力なソリューションとなっている。 SSLをノイズの多いデータに適用することは、天体物理学、医用画像、地球物理学、ファイナンスといった応用に不可欠であるにもかかわらず、依然として課題である。 本稿では、推論や下流の微調整を嫌うことなく、ノイズロバスト表現学習を可能にする完全自己教師型フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.31692175683912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-Supervised Learning (SSL) has become a powerful solution to extract rich representations from unlabeled data. Yet, SSL research is mostly focused on clean, curated and high-quality datasets. As a result, applying SSL on noisy data remains a challenge, despite being crucial to applications such as astrophysics, medical imaging, geophysics or finance. In this work, we present a fully self-supervised framework that enables noise-robust representation learning without requiring a denoiser at inference or downstream fine-tuning. Our method first trains an SSL denoiser on noisy data, then uses it to construct a denoised-to-noisy data curriculum (i.e., training first on denoised, then noisy samples) for pretraining a SSL backbone (e.g., DINOv2), combined with a teacher-guided regularization that anchors noisy embeddings to their denoised counterparts. This process encourages the model to internalize noise robustness. Notably, the denoiser can be discarded after pretraining, simplifying deployment. On ImageNet-1k with ViT-B under extreme Gaussian noise ($\sigma=255$, SNR = 0.72 dB), our method improves linear probing accuracy by 4.8% over DINOv2, demonstrating that denoiser-free robustness can emerge from noise-aware pretraining. The code is available at https://github.com/wenquanlu/noisy_dinov2.
• Abstract（参考訳）: 自己監視学習(SSL)は、ラベルのないデータからリッチな表現を抽出する強力なソリューションとなっている。 しかしSSLの研究は主に、クリーンで、キュレートされ、高品質なデータセットに焦点を当てている。 結果として、天体物理学、医用画像、地球物理学、ファイナンスなどの応用に欠かせないにもかかわらず、ノイズの多いデータにSSLを適用することは依然として課題である。 本研究では、推論や下流の微調整を嫌うことなく、ノイズロバスト表現学習を可能にする完全自己教師型フレームワークを提案する。 提案手法はまず,まずノイズの多いデータに基づいてSSLデノイザを訓練し,まず,ノイズの多いデータカリキュラム(まずはノイズ付き,次にノイズの多いサンプル)を構築してSSLバックボーン(e g , DINOv2)の事前トレーニングを行い,教師が指導する正規化と,ノイズの多い埋め込みをそのノイズ化されたデータに固定する。 このプロセスは、モデルをノイズの堅牢性の内部化を促進する。 特に、denoiserは事前トレーニング後に破棄され、デプロイが簡単になる。 極端ガウス雑音下でのVT-Bを用いたImageNet-1k(\sigma=255$, SNR = 0.72dB)では、DINOv2よりも4.8%精度が向上し、ノイズを意識した事前学習からデノイザーフリーロバストネスが出現することを示した。 コードはhttps://github.com/wenquanlu/noisy_dinov2で公開されている。

関連論文リスト

• Self-Calibrated Variance-Stabilizing Transformations for Real-World Image Denoising [19.08732222562782]
  教師付き深層学習が画像認知のための選択方法となっている。 一般の信条とは対照的に,ガウスノイズ除去に特化するネットワークを有効活用し,実世界の画像復調に有効であることを示す。
  論文  参考訳（メタデータ） (2024-07-24T16:23:46Z)
• Denoising-Aware Contrastive Learning for Noisy Time Series [35.97130925600067]
  時系列自己教師型学習(SSL)は、ラベルへの依存を軽減するために事前トレーニングのためにラベル付きデータを活用することを目的としている。 本稿では,表現中の雑音を軽減し,各サンプルに対して適切な復調法を自動選択するDenoising-Aware contrastive Learning (DECL)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T04:27:32Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Hard Sample Aware Noise Robust Learning for Histopathology Image Classification [4.75542005200538]
  病理組織像分類のための新しいハードサンプル認識型ノイズロバスト学習法を提案する。 本研究は, 難燃性難燃性試料と難燃性試料とを識別するため, 簡易・難燃性検出モデルを構築した。 本稿では,雑音抑圧・高強度化(NSHE)方式を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:07:55Z)
• Unpaired Learning of Deep Image Denoising [80.34135728841382]
  本稿では,自己指導型学習と知識蒸留を取り入れた2段階の手法を提案する。 自己教師型学習では,実雑音の画像のみから視覚を学習するための拡張型盲点ネットワーク(D-BSN)を提案する。 実験の結果,本手法は合成ノイズ画像と実世界のノイズ画像の両方で良好に機能することがわかった。
  論文  参考訳（メタデータ） (2020-08-31T16:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。