論文の概要: Hierarchical Features Matter: A Deep Exploration of Progressive Parameterization Method for Dataset Distillation

• arxiv url: http://arxiv.org/abs/2406.05704v3
• Date: Wed, 19 Mar 2025 04:23:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:20:22.774180
• Title: Hierarchical Features Matter: A Deep Exploration of Progressive Parameterization Method for Dataset Distillation
• Title（参考訳）: 階層的特徴:データセット蒸留における進行的パラメータ化手法の深層探査
• Authors: Xinhao Zhong, Hao Fang, Bin Chen, Xulin Gu, Meikang Qiu, Shuhan Qi, Shu-Tao Xia,
• Abstract要約: 階層型生成蒸留(H-PD)と呼ばれる新しい生成パラメータ化法を提案する。 提案したH-PDは、等価な時間消費で様々な設定で大幅な性能向上を実現している。 IPC=1, IPC=10の超過圧縮比下での拡散モデルを用いて, 現在の再生蒸留を超越している。
• 参考スコア（独自算出の注目度）: 44.03611131165989
• License:
• Abstract: Dataset distillation is an emerging dataset reduction method, which condenses large-scale datasets while maintaining task accuracy. Current parameterization methods achieve enhanced performance under extremely high compression ratio by optimizing determined synthetic dataset in informative feature domain. However, they limit themselves to a fixed optimization space for distillation, neglecting the diverse guidance across different informative latent spaces. To overcome this limitation, we propose a novel parameterization method dubbed Hierarchical Parameterization Distillation (H-PD), to systematically explore hierarchical feature within provided feature space (e.g., layers within pre-trained generative adversarial networks). We verify the correctness of our insights by applying the hierarchical optimization strategy on GAN-based parameterization method. In addition, we introduce a novel class-relevant feature distance metric to alleviate the computational burden associated with synthetic dataset evaluation, bridging the gap between synthetic and original datasets. Experimental results demonstrate that the proposed H-PD achieves a significant performance improvement under various settings with equivalent time consumption, and even surpasses current generative distillation using diffusion models under extreme compression ratios IPC=1 and IPC=10.
• Abstract（参考訳）: データセット蒸留は、タスク精度を維持しながら大規模データセットを凝縮する、新たなデータセット削減手法である。 情報的特徴領域における決定された合成データセットを最適化することにより, 極めて高い圧縮比下での高性能化を実現する。 しかし、これらは蒸留のための固定された最適化空間に制限され、様々な情報的潜在空間にわたる多様なガイダンスを無視している。 この制限を克服するため,提案手法は階層的パラメータ化蒸留 (H-PD) と呼ばれる新しいパラメータ化手法を提案する。 GANに基づくパラメータ化手法に階層的最適化戦略を適用し,その正当性を検証した。 さらに,合成データセット評価に伴う計算負担を軽減し,合成データセットとオリジナルデータセットのギャップを埋めるために,新しいクラス関連特徴距離尺度を導入する。 IPC=1, IPC=10の超圧縮比での拡散モデルを用いて, 種々の時間消費条件下でのH-PDの性能向上を実証した。

関連論文リスト

• Enhancing Generalization via Sharpness-Aware Trajectory Matching for Dataset Condensation [37.77454972709646]
  学習した合成データセットの一般化能力を高めるシャープネス認識軌道マッチング(SATM)を導入する。 我々の手法は数学的に十分サポートされており、制御可能な計算オーバーヘッドとともに実装が容易である。
  論文  参考訳（メタデータ） (2025-02-03T22:30:06Z)
• Dataset Distillation as Pushforward Optimal Quantization [1.039189397779466]
  そこで本稿では,ImageNet-1Kデータセットの性能向上を目的とした,最先端データ蒸留法D4Mの簡易拡張を提案する。 エンコーダ・デコーダ構造を組み込んだ場合、実験的に成功した不整合法を最適な量子化問題として再定義できることを実証する。 特に, 既存の不整合データセット蒸留法を古典的最適量子化法とワッサーシュタインバリセンタ問題にリンクし, 拡散型生成前処理のための蒸留データセットの整合性を示す。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Sequential Subset Matching for Dataset Distillation [44.322842898670565]
  我々はSeqMatch(Sequential Subset Matching)と呼ばれる新しいデータセット蒸留戦略を提案する。 解析の結果,SeqMatchは合成インスタンスを逐次生成することで,結合問題に効果的に対処できることが示唆された。 私たちのコードはhttps://github.com/shqii1j/seqmatch.comから入手可能です。
  論文  参考訳（メタデータ） (2023-11-02T19:49:11Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Dataset Distillation via Factorization [58.8114016318593]
  既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。 emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。 提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-10-30T08:36:19Z)
• Dataset Condensation via Efficient Synthetic-Data Parameterization [40.56817483607132]
  大量のデータを持つ機械学習は、膨大な計算コストと、トレーニングとチューニングのためのストレージの価格が伴う。 データセットの凝縮に関する最近の研究は、コンパクトなトレーニングデータセットを合成することで、そのような大量のデータへの依存を減らそうとしている。 本稿では,データ規則性を考慮した効率的なパラメータ化により,ストレージ予算に制限のある複数の合成データを生成する,新しい凝縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-30T09:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。