Fugu-MT 論文翻訳(概要): Dataset Distillation Using Parameter Pruning

論文の概要: Dataset Distillation Using Parameter Pruning

arxiv url: http://arxiv.org/abs/2209.14609v6
Date: Mon, 21 Aug 2023 03:15:35 GMT
ステータス: 処理完了
システム内更新日: 2023-08-23 02:46:47.706120
Title: Dataset Distillation Using Parameter Pruning
Title（参考訳）: パラメータプルーニングを用いたデータセット蒸留
Authors: Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama
Abstract要約: 提案手法は, より堅牢な蒸留データセットを合成し, 蒸留過程での難解なパラメータを抽出することにより, 蒸留性能を向上させることができる。 2つのベンチマークデータセットの実験結果から,提案手法の優位性を示した。
参考スコア（独自算出の注目度）: 53.79746115426363
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this study, we propose a novel dataset distillation method based on parameter pruning. The proposed method can synthesize more robust distilled datasets and improve distillation performance by pruning difficult-to-match parameters during the distillation process. Experimental results on two benchmark datasets show the superiority of the proposed method.
Abstract（参考訳）: 本研究では,パラメータ抽出に基づく新しいデータセット蒸留法を提案する。提案手法は, より堅牢な蒸留データセットを合成し, 蒸留過程での難解なパラメータを抽出することにより蒸留性能を向上させる。 2つのベンチマークデータセットの実験結果から,提案手法の優位性を示した。

関連論文リスト

Generative Dataset Distillation Based on Self-knowledge Distillation [49.20086587208214]
本稿では,予測ロジットの整列精度を向上させる新しい生成データセット蒸留法を提案する。本手法は, 合成データと原データとのより正確な分布マッチングを実現するために, 自己知識蒸留を統合したものである。提案手法は, 既存の最先端手法より優れており, 蒸留性能が良好である。
論文参考訳（メタデータ） (2025-01-08T00:43:31Z)
Inference-Time Diffusion Model Distillation [59.350789627086456]
本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
論文参考訳（メタデータ） (2024-12-12T02:07:17Z)
Distill the Best, Ignore the Rest: Improving Dataset Distillation with Loss-Value-Based Pruning [8.69908615905782]
『プーン・ファースト・ディスティル・アフター』フレームワークは、蒸留に先立って、損失ベースのサンプリングを通じてデータセットをプーンする。提案手法は蒸留品質を著しく向上させ, 最大5.2ポイントの精度向上を実現した。
論文参考訳（メタデータ） (2024-11-18T22:51:44Z)
Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
論文参考訳（メタデータ） (2024-03-25T19:15:19Z)
Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文参考訳（メタデータ） (2024-01-29T03:29:39Z)
Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。蒸留における因果関係から最も寄与した試料を見出した。
論文参考訳（メタデータ） (2023-05-28T06:53:41Z)
Explicit and Implicit Knowledge Distillation via Unlabeled Data [5.702176304876537]
高速な計算機生成装置を代替する効率的な未ラベルサンプル選択法を提案する。また,データ領域シフトによるラベルノイズを抑制するためのクラスドロップ機構を提案する。実験結果から,本手法が他の最先端手法よりも高速に収束し,精度が向上できることが示唆された。
論文参考訳（メタデータ） (2023-02-17T09:10:41Z)
New Properties of the Data Distillation Method When Working With Tabular Data [77.34726150561087]
データ蒸留は、必要な情報のみを保持しながら、トレーニングデータの量を減らす問題である。蒸留した試料でトレーニングしたモデルは、元のデータセットでトレーニングしたモデルより優れていることを示す。
論文参考訳（メタデータ） (2020-10-19T20:27:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。