論文の概要: Boosting the Cross-Architecture Generalization of Dataset Distillation through an Empirical Study

• arxiv url: http://arxiv.org/abs/2312.05598v2
• Date: Wed, 26 Jun 2024 08:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 19:24:20.698713
• Title: Boosting the Cross-Architecture Generalization of Dataset Distillation through an Empirical Study
• Title（参考訳）: 実証的研究によるデータセット蒸留のクロスアーキテクチャ一般化の促進
• Authors: Lirui Zhao, Yuxin Zhang, Fei Chao, Rongrong Ji,
• Abstract要約: データセット蒸留のクロスアーキテクチャ一般化は、その実用的重要性を弱める。 EvaLuation with distillation Feature (ELF)を提案する。 大規模な実験を行うことで、ALFが現在のDD法のクロスアーキテクチャ一般化を十分に強化できることを示す。
• 参考スコア（独自算出の注目度）: 52.83643622795387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The poor cross-architecture generalization of dataset distillation greatly weakens its practical significance. This paper attempts to mitigate this issue through an empirical study, which suggests that the synthetic datasets undergo an inductive bias towards the distillation model. Therefore, the evaluation model is strictly confined to having similar architectures of the distillation model. We propose a novel method of EvaLuation with distillation Feature (ELF), which utilizes features from intermediate layers of the distillation model for the cross-architecture evaluation. In this manner, the evaluation model learns from bias-free knowledge therefore its architecture becomes unfettered while retaining performance. By performing extensive experiments, we successfully prove that ELF can well enhance the cross-architecture generalization of current DD methods. Code of this project is at \url{https://github.com/Lirui-Zhao/ELF}.
• Abstract（参考訳）: データセット蒸留のクロスアーキテクチャの一般化は、その実用的重要性を著しく弱めている。 本論文は, 蒸留モデルに対する誘導バイアスを受ける合成データセットについて, 実験的検討を通じて, この問題を緩和する試みである。 したがって, 評価モデルは, 蒸留モデルの類似した構造を有するものに限られている。 本稿では, 蒸留モデルの中間層の特徴をクロスアーキテクチャー評価に利用した, 蒸留機能付きEvaLuation(ELF)を提案する。 このように、評価モデルはバイアスのない知識から学習し、性能を維持しながらアーキテクチャが不安定になる。 大規模な実験を行うことで、ALFが現在のDD法のクロスアーキテクチャ一般化を十分に強化できることを示す。 このプロジェクトのコードは \url{https://github.com/Lirui-Zhao/ELF} にある。

関連論文リスト

• Data-to-Model Distillation: Data-Efficient Learning Framework [14.44010988811002]
  本稿では,データ・ツー・モデル蒸留(Data-to-Model Distillation, D2M)と呼ばれる新しいフレームワークを提案する。 提案手法は,高解像度の128x128 ImageNet-1Kまで効果的にスケールアップする。
  論文  参考訳（メタデータ） (2024-11-19T20:10:28Z)
• D$^4$M: Dataset Distillation via Disentangled Diffusion Model [4.568710926635445]
  遠方拡散モデル(D$4$M)によるデータセット蒸留のための効率的なフレームワークを提案する。 アーキテクチャに依存した手法と比較して、D$4$Mは一貫性を保証するために遅延拡散モデルを採用し、ラベル情報をカテゴリのプロトタイプに組み込む。 D$4$Mは優れた性能とロバストな一般化を示し、多くの面においてSOTAメソッドを上回っている。
  論文  参考訳（メタデータ） (2024-07-21T12:16:20Z)
• Improve Cross-Architecture Generalization on Dataset Distillation [1.688134675717698]
  モデルプール"は、より大きな既存のデータセットから合成データセットを作成するための新しいアプローチである。 本研究は,テスト中のモデルプールアプローチの有効性を検証し,既存手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-02-20T13:42:36Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。