論文の概要: Noise Matters: Optimizing Matching Noise for Diffusion Classifiers
- arxiv url: http://arxiv.org/abs/2508.11330v1
- Date: Fri, 15 Aug 2025 09:01:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.808974
- Title: Noise Matters: Optimizing Matching Noise for Diffusion Classifiers
- Title(参考訳): 雑音:拡散分類器の整合雑音の最適化
- Authors: Yanghao Wang, Long Chen,
- Abstract要約: 本稿では,DCの整合性(良い)を学習するための新しいノイズ最適化手法を提案する: NoOp。
周波数マッチングのために、NoOpはまずランダムにパラメータ化されたノイズを最適化する。
空間マッチングでは、NoOpはメタネットワークをトレーニングし、入力出力としてイメージを採用する。
- 参考スコア(独自算出の注目度): 6.442738337380714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although today's pretrained discriminative vision-language models (e.g., CLIP) have demonstrated strong perception abilities, such as zero-shot image classification, they also suffer from the bag-of-words problem and spurious bias. To mitigate these problems, some pioneering studies leverage powerful generative models (e.g., pretrained diffusion models) to realize generalizable image classification, dubbed Diffusion Classifier (DC). Specifically, by randomly sampling a Gaussian noise, DC utilizes the differences of denoising effects with different category conditions to classify categories. Unfortunately, an inherent and notorious weakness of existing DCs is noise instability: different random sampled noises lead to significant performance changes. To achieve stable classification performance, existing DCs always ensemble the results of hundreds of sampled noises, which significantly reduces the classification speed. To this end, we firstly explore the role of noise in DC, and conclude that: there are some ``good noises'' that can relieve the instability. Meanwhile, we argue that these good noises should meet two principles: Frequency Matching and Spatial Matching. Regarding both principles, we propose a novel Noise Optimization method to learn matching (i.e., good) noise for DCs: NoOp. For frequency matching, NoOp first optimizes a dataset-specific noise: Given a dataset and a timestep t, optimize one randomly initialized parameterized noise. For Spatial Matching, NoOp trains a Meta-Network that adopts an image as input and outputs image-specific noise offset. The sum of optimized noise and noise offset will be used in DC to replace random noise. Extensive ablations on various datasets demonstrated the effectiveness of NoOp.
- Abstract(参考訳): 今日の事前訓練された識別的視覚言語モデル(例えば、CLIP)は、ゼロショット画像分類のような強い知覚能力を示しているが、単語の袋の問題や刺激バイアスにも悩まされている。
これらの問題を緩和するために、いくつかの先駆的な研究は、Diffusion Classifier (DC)と呼ばれる一般化可能な画像分類を実現するために強力な生成モデル(例えば、事前訓練された拡散モデル)を活用している。
特に、ガウス雑音をランダムにサンプリングすることにより、DCはカテゴリの分類に異なるカテゴリ条件によるノイズ発生効果の差を利用する。
残念なことに、既存のDCの本質的に悪名高い弱点はノイズ不安定性である。
安定した分類性能を達成するために、既存のDCは常に数百個のサンプルノイズの結果をアンサンブルし、分類速度を著しく低下させる。
この目的のために、まず最初にDCにおけるノイズの役割を探求し、不安定を和らげる「良いノイズ」がいくつかあると結論付けます。
一方、これらの良いノイズは周波数マッチングと空間マッチングの2つの原則を満たすべきであると論じる。
両原理について,直流の整合性(良い)を学習するための新しい雑音最適化法,NoOpを提案する。
NoOpはまず、データセット固有のノイズを最適化する: データセットとタイムステップtが与えられたら、ランダムに初期化されたパラメータ化ノイズを1つ最適化する。
空間マッチングでは、NoOpはメタネットワークをトレーニングし、入力として画像を採用し、画像固有のノイズオフセットを出力する。
最適化されたノイズとノイズオフセットの合計は、DCでランダムノイズを置き換えるために使用される。
様々なデータセットに対する大規模な改善は、NoOpの有効性を示した。
関連論文リスト
- Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。
本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
論文 参考訳(メタデータ) (2023-12-10T05:52:36Z) - NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。
我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
論文 参考訳(メタデータ) (2022-12-14T08:19:30Z) - CFNet: Conditional Filter Learning with Dynamic Noise Estimation for
Real Image Denoising [37.29552796977652]
本稿では、カメラ内信号処理パイプラインを用いた異方性ガウス/ポアソンガウス分布によって近似された実雑音について考察する。
本稿では,特徴位置の異なる最適なカーネルを画像とノイズマップの局所的特徴により適応的に推定できる条件付きフィルタを提案する。
また,CNN構造にノイズ推定や非ブラインド復調を行う場合,反復的特徴復調を導出する前に連続的にノイズを更新すると考える。
論文 参考訳(メタデータ) (2022-11-26T14:28:54Z) - Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
NLT(Noisy Long-Tailed Classification)を紹介する。
ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。
我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
論文 参考訳(メタデータ) (2022-07-27T09:03:03Z) - NASTAR: Noise Adaptive Speech Enhancement with Target-Conditional
Resampling [34.565077865854484]
ターゲット条件再サンプリング(NASTAR)を用いた雑音適応音声強調手法を提案する。
NASTARはフィードバック機構を使用して、ノイズ抽出器と検索モデルを介して適応的なトレーニングデータをシミュレートする。
実験結果から,NASTARは1つの雑音のある音声サンプルを効果的に使用して,SEモデルを目標条件に適応させることができることがわかった。
論文 参考訳(メタデータ) (2022-06-18T00:15:48Z) - C2N: Practical Generative Noise Modeling for Real-World Denoising [53.96391787869974]
両例を使わずに複雑な実世界の騒音を模倣するクリーン・ツー・ノイズ画像生成フレームワーク,すなわちC2Nを導入する。
我々は,C2Nの騒音発生器を実世界の騒音特性の成分に応じて構築し,広い範囲の騒音を正確に表現する。
論文 参考訳(メタデータ) (2022-02-19T05:53:46Z) - Rethinking Noise Synthesis and Modeling in Raw Denoising [75.55136662685341]
センサの実際の雑音を直接サンプリングすることで、ノイズを合成する新しい視点を導入する。
それは本質的に、異なるカメラセンサーに対して正確な生画像ノイズを発生させる。
論文 参考訳(メタデータ) (2021-10-10T10:45:24Z) - Adaptive noise imitation for image denoising [58.21456707617451]
本研究では,自然雑音画像からノイズデータを合成できる新しいテキストバッファ適応ノイズ模倣(ADANI)アルゴリズムを開発した。
現実的なノイズを生成するため、ノイズ発生装置はノイズ発生のガイドとなる雑音/クリーン画像を入力として利用する。
ADANIから出力されるノイズデータとそれに対応する基盤構造とを結合すると、デノイングCNNは、完全に教師された方法で訓練される。
論文 参考訳(メタデータ) (2020-11-30T02:49:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。