論文の概要: Efficient Dataset Distillation through Low-Rank Space Sampling

• arxiv url: http://arxiv.org/abs/2503.07998v1
• Date: Tue, 11 Mar 2025 02:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:43:50.271214
• Title: Efficient Dataset Distillation through Low-Rank Space Sampling
• Title（参考訳）: 低ランク空間サンプリングによる効率的なデータセット蒸留
• Authors: Hangyang Kong, Wenbo Zhou, Xuxiang He, Xiaotong Tu, Xinghao Ding,
• Abstract要約: 本稿では,低ランク空間サンプリングを用いたマッチング学習軌道に基づくデータセット蒸留手法を提案する。 合成データは、これらの部分空間から基底ベクトルと共有次元マッパーによって表現される。 提案手法は, CIFAR-10, CIFAR-100, SVHNデータセット上で試験され, 平均9.9%の精度でベースライン法より優れている。
• 参考スコア（独自算出の注目度）: 34.29086540681496
• License:
• Abstract: Huge amount of data is the key of the success of deep learning, however, redundant information impairs the generalization ability of the model and increases the burden of calculation. Dataset Distillation (DD) compresses the original dataset into a smaller but representative subset for high-quality data and efficient training strategies. Existing works for DD generate synthetic images by treating each image as an independent entity, thereby overlooking the common features among data. This paper proposes a dataset distillation method based on Matching Training Trajectories with Low-rank Space Sampling(MTT-LSS), which uses low-rank approximations to capture multiple low-dimensional manifold subspaces of the original data. The synthetic data is represented by basis vectors and shared dimension mappers from these subspaces, reducing the cost of generating individual data points while effectively minimizing information redundancy. The proposed method is tested on CIFAR-10, CIFAR-100, and SVHN datasets, and outperforms the baseline methods by an average of 9.9%.
• Abstract（参考訳）: 膨大な量のデータがディープラーニングの成功の鍵であるが、冗長な情報によってモデルの一般化能力が損なわれ、計算の負担が増大する。 Dataset Distillation (DD)は、元のデータセットを、高品質なデータと効率的なトレーニング戦略のために、より小さいが代表的なサブセットに圧縮する。 DDの既存の作業は、各画像を独立した実体として扱うことによって合成画像を生成し、データ間の共通点を見落としている。 本稿では,低ランク空間サンプリング(MTT-LSS)を用いたマッチング訓練軌道に基づくデータセット蒸留手法を提案する。 合成データは、これらの部分空間からの基底ベクトルと共有次元マッパーによって表現され、情報冗長性を効果的に最小化しつつ、個々のデータポイントを生成するコストを低減する。 提案手法は, CIFAR-10, CIFAR-100, SVHNデータセット上で試験され, 平均9.9%の精度でベースライン法より優れている。

関連論文リスト

• Dataset Distillation as Pushforward Optimal Quantization [1.039189397779466]
  そこで本稿では,ImageNet-1Kデータセットの性能向上を目的とした,最先端データ蒸留法D4Mの簡易拡張を提案する。 エンコーダ・デコーダ構造を組み込んだ場合、実験的に成功した不整合法を最適な量子化問題として再定義できることを実証する。 特に, 既存の不整合データセット蒸留法を古典的最適量子化法とワッサーシュタインバリセンタ問題にリンクし, 拡散型生成前処理のための蒸留データセットの整合性を示す。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Adaptive Dataset Quantization [2.0105434963031463]
  適応データセット量子化(ADQ)という,データセット圧縮のための汎用フレームワークを導入する。 本稿では,生成したビンの代表性スコア,多様性スコア,重要度スコアの評価を通じて,新しい適応型サンプリング戦略を提案する。 提案手法は, 異なるアーキテクチャにまたがる優れた一般化能力を示すだけでなく, 各種データセットにおいてDQを平均3%越えて, 最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-12-22T07:08:29Z)
• Going Beyond Feature Similarity: Effective Dataset distillation based on Class-aware Conditional Mutual Information [43.44508080585033]
  本稿では,データセットのクラス認識複雑性を評価するために,条件付き相互情報(CMI)を導入する。 合成データセットのクラス認識複雑性を制約しながら,蒸留損失を最小限に抑える。
  論文  参考訳（メタデータ） (2024-12-13T08:10:47Z)
• Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
  我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。 次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
  論文  参考訳（メタデータ） (2024-08-22T15:20:32Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Group Distributionally Robust Dataset Distillation with Risk Minimization [17.05513836324578]
  本稿では,クラスタリングとリスク尺度の最小化を組み合わせ,DDを遂行する損失を最小化するアルゴリズムを提案する。 我々は、我々のアプローチに理論的根拠を与え、その効果的な一般化と部分群間のロバスト性を示す。
  論文  参考訳（メタデータ） (2024-02-07T09:03:04Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• DataDAM: Efficient Dataset Distillation with Attention Matching [15.300968899043498]
  研究者たちは、さまざまなデータセットをまたいだ強力な一般化を維持することによって、ディープラーニングのトレーニングコストを最小化しようと長年努力してきた。 データセットに関する新たな研究は、より大きな実際のデータセットの情報を含む小さな合成セットを作成することで、トレーニングコストの削減を目的としている。 しかし、従来の方法で生成された合成データは、元のトレーニングデータと同様に、配布・差別することが保証されていない。
  論文  参考訳（メタデータ） (2023-09-29T19:07:48Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。