論文の概要: MetaDD: Boosting Dataset Distillation with Neural Network Architecture-Invariant Generalization
- arxiv url: http://arxiv.org/abs/2410.05103v1
- Date: Mon, 7 Oct 2024 15:01:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 00:18:32.953474
- Title: MetaDD: Boosting Dataset Distillation with Neural Network Architecture-Invariant Generalization
- Title（参考訳）: MetaDD: ニューラルネットワークアーキテクチャ-不変一般化によるデータセット蒸留の促進
- Authors: Yunlong Zhao, Xiaoheng Deng, Xiu Su, Hongyan Xu, Xiuxing Li, Yijing Liu, Shan You,
- Abstract要約: 本稿では, データセット蒸留(DD)の一般化性の向上を目的としたメタDDを紹介する。
低メモリ消費コンポーネントとして、MetaDDはどんなDD方法論にもシームレスに統合できます。
Sre2L (50 IPC) を用いたDistilled Tiny-Imagenet では、MetaDD が NN のクロスアーキテクチャの精度を最大30.1% 達成し、第2ベット法 (GLaD) を1.7% 上回っている。
- 参考スコア（独自算出の注目度）: 28.769205963135313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dataset distillation (DD) entails creating a refined, compact distilled dataset from a large-scale dataset to facilitate efficient training. A significant challenge in DD is the dependency between the distilled dataset and the neural network (NN) architecture used. Training a different NN architecture with a distilled dataset distilled using a specific architecture often results in diminished trainning performance for other architectures. This paper introduces MetaDD, designed to enhance the generalizability of DD across various NN architectures. Specifically, MetaDD partitions distilled data into meta features (i.e., the data's common characteristics that remain consistent across different NN architectures) and heterogeneous features (i.e., the data's unique feature to each NN architecture). Then, MetaDD employs an architecture-invariant loss function for multi-architecture feature alignment, which increases meta features and reduces heterogeneous features in distilled data. As a low-memory consumption component, MetaDD can be seamlessly integrated into any DD methodology. Experimental results demonstrate that MetaDD significantly improves performance across various DD methods. On the Distilled Tiny-Imagenet with Sre2L (50 IPC), MetaDD achieves cross-architecture NN accuracy of up to 30.1\%, surpassing the second-best method (GLaD) by 1.7\%.
- Abstract（参考訳）: データセット蒸留(DD)は、大規模なデータセットから洗練された、コンパクトな蒸留データセットを作成し、効率的なトレーニングを容易にする。
DDにおける重要な課題は、蒸留データセットと使用するニューラルネットワーク(NN)アーキテクチャの依存関係である。
特定のアーキテクチャを用いて蒸留したデータセットで異なるNNアーキテクチャをトレーニングすると、他のアーキテクチャのトレーニング性能が低下する。
本稿では,様々なNNアーキテクチャにおけるDDの一般化性を高めるために,MetaDDを提案する。
特にMetaDDは、蒸留したデータをメタ機能(すなわち、異なるNNアーキテクチャ間で一貫性のあるデータの共通特性)と異種機能(すなわち、各NNアーキテクチャに特有のデータの特徴)に分割する。
そこでMetaDDでは,マルチアーキテクチャ機能アライメントにアーキテクチャ不変の損失関数を導入し,メタ機能の向上と蒸留データの不均一な特徴の低減を実現している。
低メモリ消費コンポーネントとして、MetaDDはどんなDD方法論にもシームレスに統合できます。
実験の結果,MetaDDは様々なDDメソッドで性能を著しく向上することがわかった。
Sre2L(50 IPC)を用いた蒸留Tiny-Imagenetでは、MetaDDは最大30.1\%のクロスアーキテクチャNN精度を達成し、第2ベット法(GLaD)を1.7\%上回る。
関連論文リスト
- Dataset Distillation from First Principles: Integrating Core Information Extraction and Purposeful Learning [10.116674195405126]
我々は、基礎となる最適化問題の正確な特徴付けは、関心の応用に関連する推論タスクを指定しなければならないと論じる。
我々の形式化は、様々なモデリング環境にまたがるDDの新たな応用を明らかにします。
現代の環境において重要な2つのケーススタディについて数値的な結果を示す。
論文 参考訳（メタデータ） (2024-09-02T18:11:15Z) - Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。
次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。
SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
論文 参考訳（メタデータ） (2024-08-22T15:20:32Z) - Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。
本手法はGAN内の階層層を系統的に探索する。
さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
論文 参考訳（メタデータ） (2024-06-09T09:15:54Z) - MIM4DD: Mutual Information Maximization for Dataset Distillation [15.847690902246727]
合成データセットと実データセット間の共有情報を定量化する指標として相互情報(MI)を導入する。
コントラスト学習フレームワーク内で,MIを最適化可能な新しい設計により,MIM4DDを数値的に最大化する手法を考案する。
実験の結果,MIM4DDは既存のSoTA DDメソッドのアドオンモジュールとして実装可能であることがわかった。
論文 参考訳（メタデータ） (2023-12-27T16:22:50Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳（メタデータ） (2023-10-30T11:13:02Z) - Can pre-trained models assist in dataset distillation? [21.613468512330442]
事前訓練されたモデル(PTM)は知識リポジトリとして機能し、元のデータセットからの広範な情報を含んでいる。
PTMは、知識を合成データセットに効果的に転送し、DDを正確に導くことができますか?
我々は,初期化パラメータ,モデルアーキテクチャ,エポックトレーニング,ドメイン知識など,PTMのさまざまな選択肢を体系的に研究する。
論文 参考訳（メタデータ） (2023-10-05T03:51:21Z) - Dynamic Data Augmentation via MCTS for Prostate MRI Segmentation [19.780410411548935]
本稿ではDDAug(Dynamic Data Augmentation)を提案する。
DDAug計算は、様々な拡張を表現する階層木構造を開発する。
我々の手法は、現在の最先端データ拡張戦略より優れています。
論文 参考訳（メタデータ） (2023-05-25T06:44:43Z) - Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。
我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。
提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
論文 参考訳（メタデータ） (2021-07-18T09:05:16Z) - Manifold Topology Divergence: a Framework for Comparing Data Manifolds [109.0784952256104]
本研究では,深部生成モデルの評価を目的としたデータ多様体の比較フレームワークを開発する。
クロスバーコードに基づき,manifold Topology Divergence score(MTop-Divergence)を導入する。
MTop-Divergenceは,様々なモードドロップ,モード内崩壊,モード発明,画像乱れを正確に検出する。
論文 参考訳（メタデータ） (2021-06-08T00:30:43Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。