論文の概要: DiFiC: Your Diffusion Model Holds the Secret to Fine-Grained Clustering
- arxiv url: http://arxiv.org/abs/2412.18838v1
- Date: Wed, 25 Dec 2024 08:55:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:28:26.542217
- Title: DiFiC: Your Diffusion Model Holds the Secret to Fine-Grained Clustering
- Title(参考訳): DiFiC:拡散モデルには細粒度クラスタリングの秘密がある
- Authors: Ruohong Yang, Peng Hu, Xi Peng, Xiting Liu, Yunfan Li,
- Abstract要約: DiFiCは条件拡散モデルに基づく微細クラスタリング法である。
実験により、DiFiCは最先端の識別法と生成的クラスタリング法の両方より優れていることが示された。
DiFiCの成功が将来の研究に刺激を与え、世代を超えたタスクにおける拡散モデルの可能性を解き放つことを期待している。
- 参考スコア(独自算出の注目度): 13.960207111424456
- License:
- Abstract: Fine-grained clustering is a practical yet challenging task, whose essence lies in capturing the subtle differences between instances of different classes. Such subtle differences can be easily disrupted by data augmentation or be overwhelmed by redundant information in data, leading to significant performance degradation for existing clustering methods. In this work, we introduce DiFiC a fine-grained clustering method building upon the conditional diffusion model. Distinct from existing works that focus on extracting discriminative features from images, DiFiC resorts to deducing the textual conditions used for image generation. To distill more precise and clustering-favorable object semantics, DiFiC further regularizes the diffusion target and guides the distillation process utilizing neighborhood similarity. Extensive experiments demonstrate that DiFiC outperforms both state-of-the-art discriminative and generative clustering methods on four fine-grained image clustering benchmarks. We hope the success of DiFiC will inspire future research to unlock the potential of diffusion models in tasks beyond generation. The code will be released.
- Abstract(参考訳): きめ細かいクラスタリングは実用的だが難しい課題であり、それは本質的に異なるクラスのインスタンス間の微妙な違いを捉えることである。
このような微妙な違いは、データの増大によって容易に破壊されるか、データ内の冗長な情報によって圧倒される可能性があるため、既存のクラスタリングメソッドのパフォーマンスが大幅に低下する。
本研究では,条件拡散モデルに基づく細粒度クラスタリング手法であるDiFiCを紹介する。
画像から識別的特徴を抽出することに焦点を当てた既存の作品とは違い、DiFiCは画像生成に使用されるテキスト条件を推論する。
より精密でクラスタリングに好適なオブジェクトセマンティクスを蒸留するために、DiFiCは拡散ターゲットをさらに規則化し、近隣の類似性を利用した蒸留プロセスの導出を行う。
大規模な実験により、DiFiCは4つのきめ細かい画像クラスタリングベンチマークにおいて、最先端の識別的および生成的クラスタリング手法より優れていることが示された。
DiFiCの成功が将来の研究に刺激を与え、世代を超えたタスクにおける拡散モデルの可能性を解き放つことを期待している。
コードはリリースされます。
関連論文リスト
- Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳(メタデータ) (2024-02-16T16:47:21Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - Do text-free diffusion models learn discriminative visual representations? [39.78043004824034]
本稿では,タスクの両ファミリーを同時に扱うモデルである統一表現学習者の可能性について検討する。
生成タスクの最先端手法である拡散モデル(拡散モデル)を素数候補として開発する。
拡散モデルはGANよりも優れており、融合とフィードバック機構により、差別的タスクのための最先端の教師なし画像表現学習手法と競合することができる。
論文 参考訳(メタデータ) (2023-11-29T18:59:59Z) - Diffusion-TTA: Test-time Adaptation of Discriminative Models via
Generative Feedback [97.0874638345205]
生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。
提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。
拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
論文 参考訳(メタデータ) (2023-11-27T18:59:53Z) - Detail Reinforcement Diffusion Model: Augmentation Fine-Grained Visual Categorization in Few-Shot Conditions [11.121652649243119]
拡散モデルは、データ生成において顕著な多様性のため、データ拡張において広く採用されている。
詳細強化拡散モデル(DRDM)と呼ばれる新しい手法を提案する。
大規模モデルの豊富な知識を微粒化に活用し、識別的意味的組換え(DSR)と空間的知識参照(SKR)の2つの重要な構成要素を含む。
論文 参考訳(メタデータ) (2023-09-15T01:28:59Z) - DiffDis: Empowering Generative Diffusion Model with Cross-Modal
Discrimination Capability [75.9781362556431]
本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。
DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-18T05:03:48Z) - Diffusion Models Beat GANs on Image Classification [37.70821298392606]
拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。
本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。
注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
論文 参考訳(メタデータ) (2023-07-17T17:59:40Z) - Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。
本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
論文 参考訳(メタデータ) (2023-05-18T05:41:36Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳(メタデータ) (2023-03-28T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。