論文の概要: Understanding Dataset Distillation via Spectral Filtering

• arxiv url: http://arxiv.org/abs/2503.01212v1
• Date: Mon, 03 Mar 2025 06:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:13.535433
• Title: Understanding Dataset Distillation via Spectral Filtering
• Title（参考訳）: スペクトルフィルタリングによるデータセット蒸留の理解
• Authors: Deyu Bo, Songhua Liu, Xinchao Wang,
• Abstract要約: 多様なDD目標を統一するスペクトルフィルタリングフレームワークであるUniDDを紹介する。 UniDDは、DDの本質が基本的に周波数固有の特徴に合致していることを明らかにする。 この制限に対処するため,低周波情報と高周波情報の両方をカバーするためにフィルタパラメータを徐々に調整するCFM(Curriculum Frequency Matching)を提案する。
• 参考スコア（独自算出の注目度）: 69.07076441512612
• License:
• Abstract: Dataset distillation (DD) has emerged as a promising approach to compress datasets and speed up model training. However, the underlying connections among various DD methods remain largely unexplored. In this paper, we introduce UniDD, a spectral filtering framework that unifies diverse DD objectives. UniDD interprets each DD objective as a specific filter function that affects the eigenvalues of the feature-feature correlation (FFC) matrix and modulates the frequency components of the feature-label correlation (FLC) matrix. In this way, UniDD reveals that the essence of DD fundamentally lies in matching frequency-specific features. Moreover, according to the filter behaviors, we classify existing methods into low-frequency matching and high-frequency matching, encoding global texture and local details, respectively. However, existing methods rely on fixed filter functions throughout distillation, which cannot capture the low- and high-frequency information simultaneously. To address this limitation, we further propose Curriculum Frequency Matching (CFM), which gradually adjusts the filter parameter to cover both low- and high-frequency information of the FFC and FLC matrices. Extensive experiments on small-scale datasets, such as CIFAR-10/100, and large-scale datasets, including ImageNet-1K, demonstrate the superior performance of CFM over existing baselines and validate the practicality of UniDD.
• Abstract（参考訳）: データセット蒸留(DD)は、データセットを圧縮し、モデルトレーニングを高速化するための有望なアプローチとして登場した。 しかしながら、様々なDDメソッド間の基礎的な接続は、ほとんど未解明のままである。 本稿では,多様なDD目標を統一するスペクトルフィルタリングフレームワークUniDDを紹介する。 UniDDは各DDの目的を特徴量相関(FFC)行列の固有値に影響を与える特定のフィルタ関数として解釈し、特徴量相関(FLC)行列の周波数成分を変調する。 このようにして、UniDDはDDの本質が周波数固有の特徴と一致していることを明らかにする。 さらに,従来の手法を低周波マッチングと高周波マッチングに分類し,大域的なテクスチャと局所的な詳細を符号化する。 しかし、既存の方法は蒸留を通して固定フィルタ機能に依存しており、同時に低周波と高周波の情報を取得することはできない。 この制限に対処するために、FFCおよびFLC行列の低周波情報と高周波情報の両方をカバーするためにフィルタパラメータを徐々に調整するCFM(Curriculum Frequency Matching)を提案する。 CIFAR-10/100のような小規模データセットとImageNet-1Kなどの大規模データセットに対する大規模な実験は、既存のベースラインよりもCFMの方が優れた性能を示し、UniDDの実用性を検証する。

関連論文リスト

• Frequency-aware Feature Fusion for Dense Image Prediction [99.85757278772262]
  本稿では,高密度画像予測のための周波数認識機能融合(FreqFusion)を提案する。 FreqFusionは、Adaptive Low-Pass Filter (ALPF) ジェネレータ、オフセットジェネレータ、Adaptive High-Pass Filter (AHPF) ジェネレータを統合する。 包括的可視化と定量的分析は、FreqFusionが機能一貫性を効果的に改善し、オブジェクト境界を鋭くすることを示している。
  論文  参考訳（メタデータ） (2024-08-23T07:30:34Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Frequency Domain-based Dataset Distillation [17.02955182740882]
  本稿では,データセット蒸留のための新しいパラメータ化手法であるFreDを提案する。 FreDは周波数ベースの変換を使用して、各データインスタンスの周波数表現を最適化する。
  論文  参考訳（メタデータ） (2023-11-15T09:46:30Z)
• Decomposed Guided Dynamic Filters for Efficient RGB-Guided Depth Completion [46.04264366475848]
  RGB誘導深度補正は、スパース深度測定と対応するRGB画像から深度マップを予測することを目的としている。 ガイド付き動的フィルタは、RGB特徴から空間的に可変な深度分割可能な畳み込みフィルタを生成し、深度特徴を導出する。 本稿では,ガイド付き動的フィルタを空間的に共有されたコンポーネントに分解し,各空間位置におけるコンテンツ適応型適応器を乗じて分解する。
  論文  参考訳（メタデータ） (2023-09-05T08:37:58Z)
• SpectralDiff: A Generative Framework for Hyperspectral Image Classification with Diffusion Models [18.391049303136715]
  拡散モデルを用いたHSI分類のための生成フレームワーク(SpectralDiff)を提案する。 SpectralDiffは、高次元および高冗長なデータの分布情報を効果的にマイニングする。 3つの公開HSIデータセットの実験により、提案手法は最先端の手法よりも優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-04-12T16:32:34Z)
• Few-shot One-class Domain Adaptation Based on Frequency for Iris Presentation Attack Detection [33.41823375502942]
  アイリス提示攻撃検知(PAD)はアイリス認識システムの信頼性と安全性を確保するために大きな成功を収めた。 既存の手法のほとんどは、空間領域における識別的特徴を利用して、データセット内設定下での優れた性能を報告している。 Few-shot One-class Domain Adaptation (FODA) と呼ばれる新しいドメイン適応方式を提案する。
  論文  参考訳（メタデータ） (2022-04-01T11:55:06Z)
• Deep Frequency Filtering for Domain Generalization [55.66498461438285]
  Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。 本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。 提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2022-03-23T05:19:06Z)
• Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection [91.43066633305662]
  RGB-D Salient Object Detection (SOD) の主な目的は、相互融合情報をよりよく統合し活用する方法である。 本稿では,これらの問題を新たな視点から考察する。 我々は、より柔軟で効率的なマルチスケールのクロスモーダルな特徴処理を実装している。
  論文  参考訳（メタデータ） (2020-07-13T07:59:55Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。