論文の概要: Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features
- arxiv url: http://arxiv.org/abs/2410.03558v3
- Date: Fri, 18 Oct 2024 06:19:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 21:39:44.726549
- Title: Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features
- Title（参考訳）: すべての拡散モデル活性化が差別的特徴として評価されたわけではない
- Authors: Benyuan Meng, Qianqian Xu, Zitai Wang, Xiaochun Cao, Qingming Huang,
- Abstract要約: 拡散モデルは当初、画像生成のために設計されている。
近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
- 参考スコア（独自算出の注目度）: 115.33889811527533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models are initially designed for image generation. Recent research shows that the internal signals within their backbones, named activations, can also serve as dense features for various discriminative tasks such as semantic segmentation. Given numerous activations, selecting a small yet effective subset poses a fundamental problem. To this end, the early study of this field performs a large-scale quantitative comparison of the discriminative ability of the activations. However, we find that many potential activations have not been evaluated, such as the queries and keys used to compute attention scores. Moreover, recent advancements in diffusion architectures bring many new activations, such as those within embedded ViT modules. Both combined, activation selection remains unresolved but overlooked. To tackle this issue, this paper takes a further step with a much broader range of activations evaluated. Considering the significant increase in activations, a full-scale quantitative comparison is no longer operational. Instead, we seek to understand the properties of these activations, such that the activations that are clearly inferior can be filtered out in advance via simple qualitative evaluation. After careful analysis, we discover three properties universal among diffusion models, enabling this study to go beyond specific models. On top of this, we present effective feature selection solutions for several popular diffusion models. Finally, the experiments across multiple discriminative tasks validate the superiority of our method over the SOTA competitors. Our code is available at https://github.com/Darkbblue/generic-diffusion-feature.
- Abstract（参考訳）: 拡散モデルは当初、画像生成のために設計されている。
近年の研究では、それらのバックボーンの内部シグナルはアクティベーションと呼ばれ、セマンティックセグメンテーションのような様々な識別タスクの高密度な特徴として機能することが示されている。
多数の活性化が与えられたとき、小さいが効果的な部分集合を選択することは根本的な問題を引き起こす。
この目的のために、この分野の初期の研究は、アクティベーションの識別能力を大規模に定量的に比較した。
しかし,アテンションスコアの計算に使用されるクエリやキーなど,潜在的なアクティベーションが評価されていないことが判明した。
さらに、近年の拡散アーキテクチャの進歩は、組み込みViTモジュールなど、多くの新しいアクティベーションをもたらす。
どちらも、アクティベーションの選択は未解決のままだが、見落としている。
この問題に対処するため,本論文では,より広い範囲のアクティベーション評価を行ない,さらなる一歩を踏み出した。
アクティベーションの大幅な増加を考えると、完全な定量的比較はもはや実行されない。
その代わり、これらのアクティベーションの性質を理解し、簡単な質的評価によって、明確に劣るアクティベーションを事前にフィルタリングできるようにしたいと考えている。
注意深い解析の後、拡散モデル間で普遍的な3つの性質を発見し、本研究は特定のモデルを超えることができる。
そこで本研究では,複数の拡散モデルに対する効率的な特徴選択法を提案する。
最後に,複数の識別タスクを対象とした実験により,SOTAの競合相手に対する手法の優位性を検証した。
私たちのコードはhttps://github.com/Darkbblue/generic-diffusion-feature.comで公開されています。
関連論文リスト
- Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。
PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。
我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
論文 参考訳（メタデータ） (2024-11-04T17:59:04Z) - Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation [37.79819260918366]
継続的なテスト時間適応(CTTA)は、トレーニング済みのモデルを進化し続けるターゲットドメインに適応させることを目的としている。
我々はCTTAタスクのアダプタとしてMixture-of-Activation-Sparsity-Experts (MoASE)の統合について検討する。
論文 参考訳（メタデータ） (2024-05-26T08:51:39Z) - Massive Activations in Large Language Models [77.51561903918535]
様々な大規模言語モデル(LLM)にまたがる大規模アクティベーションの存在を示す。
大量活性化は、それに対応するトークンに対する注意確率の集中と、自己注意出力における暗黙のバイアス項をもたらす。
論文 参考訳（メタデータ） (2024-02-27T18:55:17Z) - Enhancing Neural Subset Selection: Integrating Background Information into Set Representations [53.15923939406772]
対象値が入力集合とサブセットの両方に条件付けされている場合、スーパーセットのテクスティ不変な統計量を関心のサブセットに組み込むことが不可欠であることを示す。
これにより、出力値がサブセットとその対応するスーパーセットの置換に不変であることを保証する。
論文 参考訳（メタデータ） (2024-02-05T16:09:35Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳（メタデータ） (2023-03-28T17:59:56Z) - VRA: Variational Rectified Activation for Out-of-distribution Detection [45.804178022641764]
アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界で信頼性の高い機械学習システムを構築する上で重要である。
ReActはモデル過信に対処する典型的な効果的な手法であり、高いアクティベーションを減らし、流通とOODのギャップを増大させる。
本稿では,これらの抑制と増幅操作を一括関数を用いてシミュレートする「変分整定活性化(VRA)'」という新しい手法を提案する。
論文 参考訳（メタデータ） (2023-02-23T00:45:14Z) - Stochastic Adaptive Activation Function [1.9199289015460212]
本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。
実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
論文 参考訳（メタデータ） (2022-10-21T01:57:25Z) - Less is More: Feature Selection for Adversarial Robustness with
Compressive Counter-Adversarial Attacks [7.5320132424481505]
本稿では,敵攻撃を用いて重要な特徴を識別する新しい手法を提案する。
クリーンな精度とロバストな精度のギャップを橋渡しする特徴のサブセットが存在することを示す。
次に, 固有層におけるアクティベーション値の整合性を観察し, 特徴を抽出する。
論文 参考訳（メタデータ） (2021-06-18T17:39:05Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳（メタデータ） (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。