論文の概要: Generative Dataset Distillation Based on Self-knowledge Distillation

• arxiv url: http://arxiv.org/abs/2501.04202v1
• Date: Wed, 08 Jan 2025 00:43:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:57:02.048200
• Title: Generative Dataset Distillation Based on Self-knowledge Distillation
• Title（参考訳）: 自己知識蒸留に基づく生成データセット蒸留
• Authors: Longzhen Li, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama,
• Abstract要約: 本稿では,予測ロジットの整列精度を向上させる新しい生成データセット蒸留法を提案する。 本手法は, 合成データと原データとのより正確な分布マッチングを実現するために, 自己知識蒸留を統合したものである。 提案手法は, 既存の最先端手法より優れており, 蒸留性能が良好である。
• 参考スコア（独自算出の注目度）: 49.20086587208214
• License:
• Abstract: Dataset distillation is an effective technique for reducing the cost and complexity of model training while maintaining performance by compressing large datasets into smaller, more efficient versions. In this paper, we present a novel generative dataset distillation method that can improve the accuracy of aligning prediction logits. Our approach integrates self-knowledge distillation to achieve more precise distribution matching between the synthetic and original data, thereby capturing the overall structure and relationships within the data. To further improve the accuracy of alignment, we introduce a standardization step on the logits before performing distribution matching, ensuring consistency in the range of logits. Through extensive experiments, we demonstrate that our method outperforms existing state-of-the-art methods, resulting in superior distillation performance.
• Abstract（参考訳）: データセット蒸留は、大規模なデータセットをより小さく、より効率的なバージョンに圧縮することで、パフォーマンスを維持しながら、モデルトレーニングのコストと複雑さを低減する効果的な手法である。 本稿では,予測ロジットの整列精度を向上させる新しい生成データセット蒸留法を提案する。 提案手法は, 自己知識蒸留を統合して, 合成データと原データとのより正確な分布マッチングを実現し, データの全体構造と関係を抽出する。 さらにアライメントの精度を向上させるために,分布マッチングを行う前にロジットの標準化手順を導入し,ロジット範囲の整合性を確保する。 実験により, 従来手法よりも優れた蒸留性能が得られ, 蒸留性能が向上することが実証された。

関連論文リスト

• Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
  主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。 実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
  論文  参考訳（メタデータ） (2024-03-25T19:15:19Z)
• Towards Adversarially Robust Dataset Distillation by Curvature Regularization [11.02948004359488]
  蒸留したデータセットに対向ロバスト性を組み込むことで、これらのデータセットでトレーニングされたモデルが高い精度を維持し、より良い対向ロバスト性を得る。 そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T06:31:03Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Dataset Distillation via the Wasserstein Metric [35.32856617593164]
  最適な輸送理論に基づく計量であるワッサーシュタイン距離を導入し, データセット蒸留における分布整合性を高める。 提案手法は,高解像度データセットにまたがって,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-30T13:15:28Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Towards Efficient Deep Hashing Retrieval: Condensing Your Data via Feature-Embedding Matching [7.908244841289913]
  最先端の深層ハッシュ検索モデルのトレーニングに要する費用は増加している。 最先端のデータセット蒸留法は、すべての深層ハッシュ検索法に拡張できない。 合成集合と実集合との特徴埋め込みをマッチングすることにより,これらの制約に対処する効率的な凝縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:23:55Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• Explicit and Implicit Knowledge Distillation via Unlabeled Data [5.702176304876537]
  高速な計算機生成装置を代替する効率的な未ラベルサンプル選択法を提案する。 また,データ領域シフトによるラベルノイズを抑制するためのクラスドロップ機構を提案する。 実験結果から,本手法が他の最先端手法よりも高速に収束し,精度が向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:10:41Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。