論文の概要: UDD: Dataset Distillation via Mining Underutilized Regions

• arxiv url: http://arxiv.org/abs/2408.16268v1
• Date: Thu, 29 Aug 2024 05:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 14:55:17.167128
• Title: UDD: Dataset Distillation via Mining Underutilized Regions
• Title（参考訳）: UDD:マイニング未利用地域によるデータセット蒸留
• Authors: Shiguang Wang, Zhongyu Zhang, Jian Cheng,
• Abstract要約: 合成画像中の未利用領域を特定し,活用するための新しいアプローチであるUDDを提案する。 本稿では,未利用地域を識別・活用し,情報化・識別するための新しいアプローチであるUDDを提案する。 提案手法は, 合成データセットの利用性を向上し, 各種データセット上での最先端手法よりも優れる。
• 参考スコア（独自算出の注目度）: 10.034543678588578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation synthesizes a small dataset such that a model trained on this set approximates the performance of the original dataset. Recent studies on dataset distillation focused primarily on the design of the optimization process, with methods such as gradient matching, feature alignment, and training trajectory matching. However, little attention has been given to the issue of underutilized regions in synthetic images. In this paper, we propose UDD, a novel approach to identify and exploit the underutilized regions to make them informative and discriminate, and thus improve the utilization of the synthetic dataset. Technically, UDD involves two underutilized regions searching policies for different conditions, i.e., response-based policy and data jittering-based policy. Compared with previous works, such two policies are utilization-sensitive, equipping with the ability to dynamically adjust the underutilized regions during the training process. Additionally, we analyze the current model optimization problem and design a category-wise feature contrastive loss, which can enhance the distinguishability of different categories and alleviate the shortcomings of the existing multi-formation methods. Experimentally, our method improves the utilization of the synthetic dataset and outperforms the state-of-the-art methods on various datasets, such as MNIST, FashionMNIST, SVHN, CIFAR-10, and CIFAR-100. For example, the improvements on CIFAR-10 and CIFAR-100 are 4.0\% and 3.7\% over the next best method with IPC=1, by mining the underutilized regions.
• Abstract（参考訳）: データセット蒸留は、このセットでトレーニングされたモデルが元のデータセットのパフォーマンスを近似するように、小さなデータセットを合成する。 データセット蒸留の最近の研究は, 勾配整合, 特徴整合, 訓練軌道整合など, 最適化プロセスの設計に重点を置いている。 しかし, 合成画像における未利用領域の問題にはほとんど注意が払われていない。 本稿では,未利用領域を識別・活用し,それらを情報化・識別する新しいアプローチであるUDDを提案し,それによって合成データセットの利用性を向上させる。 技術的には、UDDは異なる条件、すなわちレスポンスベースのポリシーとデータジッタリングベースのポリシーの2つの未使用領域を探索する。 従来の研究と比較すると、これらの2つのポリシーは利用に敏感であり、トレーニングプロセス中に未使用領域を動的に調整する能力を備えている。 さらに,現在のモデル最適化問題を解析し,カテゴリワイドの特徴的損失を設計することにより,異なるカテゴリの識別可能性を高め,既存のマルチフォーム手法の欠点を軽減することができる。 実験により,本手法は,MNIST, FashionMNIST, SVHN, CIFAR-10, CIFAR-100などの各種データセット上で, 合成データセットの利用性を向上し, 最先端の手法よりも優れていた。 例えば、CIFAR-10とCIFAR-100の改善は、未利用領域を採掘することで、次のICC=1の方法よりも4.0\%と3.7\%である。

関連論文リスト

• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
  異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T14:48:23Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• IDA: Informed Domain Adaptive Semantic Segmentation [51.12107564372869]
  クラスレベルのセグメンテーション性能に基づいてデータを混合する自己学習フレームワークであるDomain Informed Adaptation (IDA) モデルを提案する。 IDAモデルでは、クラスレベルの性能を期待信頼スコア(ECS)によって追跡し、動的スケジュールを用いて異なる領域のデータに対する混合比を決定する。 提案手法は,GTA-Vの都市景観への適応において1.1 mIoU,SynTHIAの都市への適応において0.9 mIoUのマージンで,最先端のUDA-SS法よりも優れる。
  論文  参考訳（メタデータ） (2023-03-05T18:16:34Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Dataset Condensation with Contrastive Signals [41.195453119305746]
  勾配マッチングに基づくデータセット合成(DC)手法は、データ効率の学習タスクに適用した場合、最先端のパフォーマンスを達成することができる。 本研究では,既存のDC手法が,タスク関連情報がトレーニングデータセットの重要な部分を形成する場合に,ランダム選択法よりも性能が劣ることを示す。 本稿では,クラス間の差異を効果的に捉えるために,損失関数を変更することで,コントラスト信号(DCC)を用いたデータセット凝縮を提案する。
  論文  参考訳（メタデータ） (2022-02-07T03:05:32Z)
• Augmentation Strategies for Learning with Noisy Labels [3.698228929379249]
  ノイズラベル付き学習」問題に取り組むアルゴリズムについて,様々な拡張戦略を評価した。 ロスモデリングタスクと学習のための別のセットに拡張の1つのセットを使用することが最も効果的であることがわかります。 我々は,この拡張戦略を最先端技術に導入し,評価されたすべての騒音レベルにおける性能向上を実証する。
  論文  参考訳（メタデータ） (2021-03-03T02:19:35Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。