論文の概要: Going Beyond Feature Similarity: Effective Dataset distillation based on Class-aware Conditional Mutual Information

• arxiv url: http://arxiv.org/abs/2412.09945v1
• Date: Fri, 13 Dec 2024 08:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:49.580108
• Title: Going Beyond Feature Similarity: Effective Dataset distillation based on Class-aware Conditional Mutual Information
• Title（参考訳）: 特徴的類似性を超えて行く:クラス対応条件相互情報に基づく効果的なデータセット蒸留
• Authors: Xinhao Zhong, Bin Chen, Hao Fang, Xulin Gu, Shu-Tao Xia, En-Hui Yang,
• Abstract要約: 本稿では,データセットのクラス認識複雑性を評価するために,条件付き相互情報(CMI)を導入する。 合成データセットのクラス認識複雑性を制約しながら,蒸留損失を最小限に抑える。
• 参考スコア（独自算出の注目度）: 43.44508080585033
• License:
• Abstract: Dataset distillation (DD) aims to minimize the time and memory consumption needed for training deep neural networks on large datasets, by creating a smaller synthetic dataset that has similar performance to that of the full real dataset. However, current dataset distillation methods often result in synthetic datasets that are excessively difficult for networks to learn from, due to the compression of a substantial amount of information from the original data through metrics measuring feature similarity, e,g., distribution matching (DM). In this work, we introduce conditional mutual information (CMI) to assess the class-aware complexity of a dataset and propose a novel method by minimizing CMI. Specifically, we minimize the distillation loss while constraining the class-aware complexity of the synthetic dataset by minimizing its empirical CMI from the feature space of pre-trained networks, simultaneously. Conducting on a thorough set of experiments, we show that our method can serve as a general regularization method to existing DD methods and improve the performance and training efficiency.
• Abstract（参考訳）: データセット蒸留(DD)は、大規模なデータセット上でディープニューラルネットワークをトレーニングするために必要な時間とメモリ消費を最小化することを目的としている。 しかし、現在のデータセット蒸留法は、例えば、特徴類似度を測定するメトリクスを通じて、元のデータからかなりの量の情報を圧縮するため、ネットワークが学習するのが非常に難しい合成データセットをもたらすことが多い。 分布マッチング (DM)。 本研究では,データセットのクラス認識複雑性を評価するための条件付き相互情報(CMI)を導入し,CMIの最小化による新しい手法を提案する。 具体的には,予備学習ネットワークの特徴空間から経験的CMIを最小化することにより,合成データセットのクラス認識複雑性を抑えつつ,蒸留損失を最小限に抑える。 実験を徹底的に実施することにより,本手法は既存のDD法に対する一般的な正規化手法として機能し,性能と訓練効率を向上させることができることを示す。

関連論文リスト

• MDM: Advancing Multi-Domain Distribution Matching for Automatic Modulation Recognition Dataset Synthesis [35.07663680944459]
  ディープラーニング技術は、AMR(Automatic Modulation Recognition)タスクにうまく導入されている。 ディープラーニングの成功はすべて、大規模なデータセットのトレーニングによるものだ。 大量のデータの問題を解決するため、一部の研究者はデータ蒸留法を提唱した。
  論文  参考訳（メタデータ） (2024-08-05T14:16:54Z)
• CondTSF: One-line Plugin of Dataset Condensation for Time Series Forecasting [22.473436770730657]
  データセット凝縮の目的は、合成データセットでトレーニングされたモデルが、完全なデータセットでトレーニングされたモデルと互換性を持って動作できることを保証することである。 分類において、合成データは、全データセットで訓練されたモデルと合成データセットで訓練されたモデルが同じ入力に対して同一のラベルを生成する場合、よく蒸留されると考えられる。 TS予測において, 合成データ蒸留の有効性は, モデル間の距離によって決定される。
  論文  参考訳（メタデータ） (2024-06-04T09:18:20Z)
• Koopcon: A new approach towards smarter and less complex learning [13.053285552524052]
  ビッグデータの時代、データセットの膨大な量と複雑さは、機械学習において大きな課題を引き起こします。 本稿では,クープマン演算子理論を背景とした,革新的オートエンコーダに基づくデータセット凝縮モデルを提案する。 人間の脳の予測的コーディング機構にインスパイアされた我々のモデルは、データをエンコードし再構成するための新しいアプローチを活用する。
  論文  参考訳（メタデータ） (2024-05-22T17:47:14Z)
• Group Distributionally Robust Dataset Distillation with Risk Minimization [18.07189444450016]
  本稿では,クラスタリングとリスク尺度の最小化を組み合わせ,DDを遂行する損失を最小化するアルゴリズムを提案する。 数値実験により,その有効一般化と部分群間のロバスト性を示す。
  論文  参考訳（メタデータ） (2024-02-07T09:03:04Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• DataDAM: Efficient Dataset Distillation with Attention Matching [15.300968899043498]
  研究者たちは、さまざまなデータセットをまたいだ強力な一般化を維持することによって、ディープラーニングのトレーニングコストを最小化しようと長年努力してきた。 データセットに関する新たな研究は、より大きな実際のデータセットの情報を含む小さな合成セットを作成することで、トレーニングコストの削減を目的としている。 しかし、従来の方法で生成された合成データは、元のトレーニングデータと同様に、配布・差別することが保証されていない。
  論文  参考訳（メタデータ） (2023-09-29T19:07:48Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• DC-BENCH: Dataset Condensation Benchmark [79.18718490863908]
  この研究は、データセットの凝縮に関する最初の大規模標準ベンチマークを提供する。 それは、凝縮法の生成可能性と有効性を包括的に反映する一連の評価から成り立っている。 ベンチマークライブラリは、将来の研究とアプリケーションを容易にするためにオープンソース化されている。
  論文  参考訳（メタデータ） (2022-07-20T03:54:05Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。