論文の概要: Dataset Distillation Using Parameter Pruning

• arxiv url: http://arxiv.org/abs/2209.14609v5
• Date: Tue, 16 May 2023 01:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 19:46:28.888135
• Title: Dataset Distillation Using Parameter Pruning
• Title（参考訳）: パラメータプルーニングを用いたデータセット蒸留
• Authors: Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama
• Abstract要約: 提案手法は, より堅牢な蒸留データセットを合成し, 蒸留過程での難解なパラメータを抽出することにより, 蒸留性能を向上させることができる。 3つのデータセットの実験結果は,提案手法が他の最先端のデータセット蒸留法よりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 38.65823547986758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many fields, the acquisition of advanced models depends on large datasets, making data storage and model training expensive. As a solution, dataset distillation can synthesize a small dataset that preserves most information of the original large dataset. The recently proposed dataset distillation method by matching network parameters has been proven effective for several datasets. However, the dimensions of network parameters are typically large. Furthermore, some parameters are difficult to match during the distillation process, degrading distillation performance. Based on this observation, this study proposes a novel dataset distillation method based on parameter pruning that solves the problem. The proposed method can synthesize more robust distilled datasets and improve distillation performance by pruning difficult-to-match parameters during the distillation process. Experimental results on three datasets show that the proposed method outperforms other state-of-the-art dataset distillation methods.
• Abstract（参考訳）: 多くの分野において、高度なモデルの獲得は大きなデータセットに依存しており、データストレージとモデルのトレーニングは高価である。 解決策として、データセットの蒸留は、元の大きなデータセットのほとんどの情報を保存する小さなデータセットを合成することができる。 近年,ネットワークパラメータのマッチングによるデータセット蒸留法がいくつかのデータセットに対して有効であることが証明されている。 しかし、ネットワークパラメータの次元は典型的には大きい。 さらに, 蒸留プロセスにおいて, 蒸留性能を劣化させるパラメータは一致しにくい。 そこで本研究では,この問題を解決するパラメータプルーニングに基づく新しいデータセット蒸留法を提案する。 提案手法は, より堅牢な蒸留データセットを合成し, 蒸留過程での難解なパラメータを抽出することにより蒸留性能を向上させる。 3つのデータセットの実験結果は,提案手法が他の最先端のデータセット蒸留法よりも優れていることを示している。

関連論文リスト

• Distill the Best, Ignore the Rest: Improving Dataset Distillation with Loss-Value-Based Pruning [8.69908615905782]
  『プーン・ファースト・ディスティル・アフター』フレームワークは、蒸留に先立って、損失ベースのサンプリングを通じてデータセットをプーンする。 提案手法は蒸留品質を著しく向上させ, 最大5.2ポイントの精度向上を実現した。
  論文  参考訳（メタデータ） (2024-11-18T22:51:44Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
  主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。 実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
  論文  参考訳（メタデータ） (2024-03-25T19:15:19Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Explicit and Implicit Knowledge Distillation via Unlabeled Data [5.702176304876537]
  高速な計算機生成装置を代替する効率的な未ラベルサンプル選択法を提案する。 また,データ領域シフトによるラベルノイズを抑制するためのクラスドロップ機構を提案する。 実験結果から,本手法が他の最先端手法よりも高速に収束し,精度が向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:10:41Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• New Properties of the Data Distillation Method When Working With Tabular Data [77.34726150561087]
  データ蒸留は、必要な情報のみを保持しながら、トレーニングデータの量を減らす問題である。 蒸留した試料でトレーニングしたモデルは、元のデータセットでトレーニングしたモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-19T20:27:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。