論文の概要: Enhancing Dataset Distillation via Label Inconsistency Elimination and Learning Pattern Refinement

• arxiv url: http://arxiv.org/abs/2410.13311v1
• Date: Thu, 17 Oct 2024 08:09:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:45.577750
• Title: Enhancing Dataset Distillation via Label Inconsistency Elimination and Learning Pattern Refinement
• Title（参考訳）: ラベル不整合除去と学習パターンの微細化によるデータセット蒸留の促進
• Authors: Chuhao Zhou, Chenxi Jiang, Yi Xie, Haozhi Cao, Jianfei Yang,
• Abstract要約: ECCV-2024データ蒸留チャレンジの1位にランクインした。 本稿では,ECCV-2024データ蒸留チャレンジで第1位となったソリューションについて述べる。
• 参考スコア（独自算出の注目度）: 14.45405521841491
• License:
• Abstract: Dataset Distillation (DD) seeks to create a condensed dataset that, when used to train a model, enables the model to achieve performance similar to that of a model trained on the entire original dataset. It relieves the model training from processing massive data and thus reduces the computation resources, storage, and time costs. This paper illustrates our solution that ranks 1st in the ECCV-2024 Data Distillation Challenge (track 1). Our solution, Modified Difficulty-Aligned Trajectory Matching (M-DATM), introduces two key modifications to the original state-of-the-art method DATM: (1) the soft labels learned by DATM do not achieve one-to-one correspondence with the counterparts generated by the official evaluation script, so we remove the soft labels technique to alleviate such inconsistency; (2) since the removal of soft labels makes it harder for the synthetic dataset to learn late trajectory information, particularly on Tiny ImageNet, we reduce the matching range, allowing the synthetic data to concentrate more on the easier patterns. In the final evaluation, our M-DATM achieved accuracies of 0.4061 and 0.1831 on the CIFAR-100 and Tiny ImageNet datasets, ranking 1st in the Fixed Images Per Class (IPC) Track.
• Abstract（参考訳）: Dataset Distillation(DD)は、モデルをトレーニングするために使用すると、オリジナルのデータセット全体をトレーニングしたモデルと同じようなパフォーマンスを実現するための、凝縮データセットの作成を目指している。 これにより、モデルトレーニングが大量のデータ処理から解放され、計算リソース、ストレージ、時間コストが削減される。 本稿では,ECCV-2024データ蒸留チャレンジ(トラック1)の第1位にランクインしたソリューションについて述べる。 1) DATMで学習したソフトラベルは, 公式評価スクリプトが生成したソフトラベルと1対1の対応を達成できないため, ソフトラベルを除去し, ソフトラベルの除去により, 後続のトラジェクトリ情報(特にTiny ImageNet)の学習が困難になるため, マッチング範囲を縮小し, より容易なパターンに集中できるようにする。 最終評価では,CIFAR-100およびTiny ImageNetデータセットで0.4061と0.1831の精度を達成し,IPCトラックで1位となった。

関連論文リスト

• Heavy Labels Out! Dataset Distillation with Label Space Lightening [69.67681224137561]
  HeLlOは、合成画像から直接合成ラベルをオンラインで生成できる効果的な画像-ラベルプロジェクタを目指している。 ソフトラベルの完全なセットに必要な元のストレージの0.003%しか必要とせず、大規模データセット上での現在の最先端データセット蒸留法と同等のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2024-08-15T15:08:58Z)
• DataDAM: Efficient Dataset Distillation with Attention Matching [15.300968899043498]
  研究者たちは、さまざまなデータセットをまたいだ強力な一般化を維持することによって、ディープラーニングのトレーニングコストを最小化しようと長年努力してきた。 データセットに関する新たな研究は、より大きな実際のデータセットの情報を含む小さな合成セットを作成することで、トレーニングコストの削減を目的としている。 しかし、従来の方法で生成された合成データは、元のトレーニングデータと同様に、配布・差別することが保証されていない。
  論文  参考訳（メタデータ） (2023-09-29T19:07:48Z)
• Sampling to Distill: Knowledge Transfer from Open-World Data [28.74835717488114]
  冗長な生成過程を伴わずにデータ自由知識蒸留(DFKD)タスクのための新しいオープンワールドデータサンプリング蒸留(ODSD)手法を提案する。 まず、適応サンプリングモジュールを用いて、原データの分布に近いオープンワールドデータをサンプリングする。 そこで我々は,学生モデル自体と教師の構造化表現を通して,データ知識を活用するために,複数のデータ例の構造化関係を構築した。
  論文  参考訳（メタデータ） (2023-07-31T12:05:55Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Learning advisor networks for noisy image classification [22.77447144331876]
  本稿では,画像分類におけるノイズラベルの問題に対処するためのアドバイザネットワークの概念を紹介する。 私たちはメタラーニング戦略でそれをトレーニングし、メインモデルのトレーニングを通じて適応できるようにしました。 我々はCIFAR10とCIFAR100を合成雑音で試験し,実環境雑音を含むCrothing1Mを用いて最先端の結果を報告する。
  論文  参考訳（メタデータ） (2022-11-08T11:44:08Z)
• Dataset Distillation using Neural Feature Regression [32.53291298089172]
  ニューラル・フィーチャー・レグレッション・アンド・プール(FRePo)を用いたデータセット蒸留アルゴリズムを開発した。 FRePoは、メモリ要件を桁違いに少なくし、以前の方法よりも2桁高速なトレーニングで最先端のパフォーマンスを実現している。 我々は,高品質な蒸留データにより,連続学習や会員推測防衛など,下流の様々な応用を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T19:02:06Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)
• UnrealPerson: An Adaptive Pipeline towards Costless Person Re-identification [102.58619642363959]
  本稿では,unrealpersonという,非現実的な画像データをフル活用して,トレーニングとデプロイメントの両面でコストを削減する新しいパイプラインを提案する。 3,000のIDと12万のインスタンスで、MSMT17に直接転送されると38.5%のランク-1の精度が得られる。
  論文  参考訳（メタデータ） (2020-12-08T08:15:30Z)
• ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised Medical Image Segmentation [99.90263375737362]
  教師-学生最適化の非同期版であるATSOを提案する。 ATSOはラベルのないデータを2つのサブセットに分割し、モデルの微調整に1つのサブセットを交互に使用し、他のサブセットのラベルを更新する。 医用画像のセグメンテーションデータセットを2つ評価し,様々な半教師付き環境において優れた性能を示す。
  論文  参考訳（メタデータ） (2020-06-24T04:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。