論文の概要: Distilling Long-tailed Datasets

• arxiv url: http://arxiv.org/abs/2408.14506v1
• Date: Sat, 24 Aug 2024 15:36:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 18:01:37.419202
• Title: Distilling Long-tailed Datasets
• Title（参考訳）: 蒸留ロングテールデータセット
• Authors: Zhenghao Zhao, Haoxuan Wang, Yuzhang Shang, Kai Wang, Yan Yan,
• Abstract要約: 本稿では,Long-tailed dataset Aware distillation (LAD) を新たに提案する。 LADは、学生と偏見のある専門家の軌跡の間の距離を減らし、テールクラスの偏見が合成データセットに蒸留されるのを防ぐ。 この研究は長い尾のデータセット蒸留(LTDD)の分野を開拓し、長い尾のデータセットを蒸留する最初の効果的な取り組みとなった。
• 参考スコア（独自算出の注目度）: 13.330572317331198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation (DD) aims to distill a small, information-rich dataset from a larger one for efficient neural network training. However, existing DD methods struggle with long-tailed datasets, which are prevalent in real-world scenarios. By investigating the reasons behind this unexpected result, we identified two main causes: 1) Expert networks trained on imbalanced data develop biased gradients, leading to the synthesis of similarly imbalanced distilled datasets. Parameter matching, a common technique in DD, involves aligning the learning parameters of the distilled dataset with that of the original dataset. However, in the context of long-tailed datasets, matching biased experts leads to inheriting the imbalance present in the original data, causing the distilled dataset to inadequately represent tail classes. 2) The experts trained on such datasets perform suboptimally on tail classes, resulting in misguided distillation supervision and poor-quality soft-label initialization. To address these issues, we propose a novel long-tailed dataset distillation method, Long-tailed Aware Dataset distillation (LAD). Specifically, we propose Weight Mismatch Avoidance to avoid directly matching the biased expert trajectories. It reduces the distance between the student and the biased expert trajectories and prevents the tail class bias from being distilled to the synthetic dataset. Moreover, we propose Adaptive Decoupled Matching, which jointly matches the decoupled backbone and classifier to improve the tail class performance and initialize reliable soft labels. This work pioneers the field of long-tailed dataset distillation (LTDD), marking the first effective effort to distill long-tailed datasets.
• Abstract（参考訳）: データセット蒸留(DD)は、より大規模なデータセットから小さな情報に富んだデータセットを蒸留して、効率的なニューラルネットワークトレーニングを実現することを目的としている。 しかし、既存のDDメソッドは、現実世界のシナリオで広く使われている長い尾のデータセットに苦しむ。 この予期せぬ結果の背景にある理由を調査した結果、2つの主な原因が判明した。 1) 不均衡なデータに基づいて訓練されたエキスパートネットワークはバイアス勾配を発達させ、同様に不均衡な蒸留データセットを合成する。 DDの一般的な手法であるパラメータマッチングでは、蒸留データセットの学習パラメータと元のデータセットの学習パラメータを整合させる。 しかし、長い尾のデータセットの文脈では、バイアスのある専門家が元のデータに存在する不均衡を継承し、蒸留されたデータセットは尾のクラスを不十分に表現する。 2) これらのデータセットを訓練した専門家は, 蒸留監督の誤認や, 品質の悪いソフトラベルの初期化を招いた。 これらの課題に対処するため,我々は,Long-tailed Aware Dataset distillation (LAD) という,新しい長鎖データセット蒸留法を提案する。 具体的には,偏りのある専門家の軌道と直接一致することを避けるために,ウェイトミスマッチ回避法を提案する。 これは、学生と偏りのある専門家の軌跡の間の距離を減らし、尾のクラスバイアスが合成データセットに蒸留されるのを防ぐ。 さらに,アダプティブ・デカップリング・マッチング(Adaptive Decoupled Matching)を提案する。 この研究は長い尾のデータセット蒸留(LTDD)の分野を開拓し、長い尾のデータセットを蒸留する最初の効果的な取り組みとなった。

関連論文リスト

• Exploring the Impact of Dataset Bias on Dataset Distillation [10.742404631413029]
  データセット蒸留(DD)におけるデータセットバイアスの影響について検討する。 DDは、オリジナルのデータセットから必須情報を保持する小さなデータセットを合成するテクニックである。 実験により、元のデータセットに存在するバイアスが合成データセットのパフォーマンスに大きな影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-03-24T06:10:22Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Embarassingly Simple Dataset Distillation [0.0]
  本研究は, 2段階最適化問題として直接扱うことにより, その中核におけるデータセットの蒸留に取り組む。 蒸留されたデータの性質を深く掘り下げると、相互相関が明らかになる。 異なるデータ予算にまたがって、ほぼ最適性能のサブセットを含む蒸留データセットを生成するブーピング機構を考案する。
  論文  参考訳（メタデータ） (2023-11-13T02:14:54Z)
• AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories [18.266786462036553]
  我々は,Smoothと高品質なエキスパートトラジェクトリによるアライメントのための効果的なDDフレームワークASTを提案する。 さまざまなスケール、サイズ、解像度のデータセットに対して、広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-16T16:13:53Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• A Comprehensive Survey of Dataset Distillation [73.15482472726555]
  限られた計算能力で無制限に成長するデータを扱うことは困難になっている。 ディープラーニング技術はこの10年で前例のない発展を遂げた。 本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
  論文  参考訳（メタデータ） (2023-01-13T15:11:38Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• LiDAR dataset distillation within bayesian active learning framework: Understanding the effect of data augmentation [63.20765930558542]
  アクティブラーニング(AL)は、アノテーションコストとデータセットサイズの削減に対処するため、最近再び注目されている。 本稿では,大規模なセマンティックKITTIデータセットの1/4分の1でALベースのデータセット蒸留を原理的に評価する。 我々は、選択したデータセット構成からのサンプルの60%のみを使用して、データ拡張が完全なデータセット精度を達成することを観察した。
  論文  参考訳（メタデータ） (2022-02-06T00:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。