論文の概要: Dataset Distillation via the Wasserstein Metric
- arxiv url: http://arxiv.org/abs/2311.18531v2
- Date: Fri, 15 Mar 2024 22:14:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 02:52:49.329867
- Title: Dataset Distillation via the Wasserstein Metric
- Title(参考訳): ワッサーシュタイン計量によるデータセット蒸留
- Authors: Haoyang Liu, Yijiang Li, Tiancheng Xing, Vibhu Dalal, Luwei Li, Jingrui He, Haohan Wang,
- Abstract要約: 最適な輸送理論に基づく計量であるワッサーシュタイン距離を導入し, データセット蒸留における分布整合性を高める。
提案手法は,高解像度データセットにまたがって,新しい最先端性能を実現する。
- 参考スコア(独自算出の注目度): 35.32856617593164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dataset Distillation (DD) emerges as a powerful strategy to encapsulate the expansive information of large datasets into significantly smaller, synthetic equivalents, thereby preserving model performance with reduced computational overhead. Pursuing this objective, we introduce the Wasserstein distance, a metric grounded in optimal transport theory, to enhance distribution matching in DD. Our approach employs the Wasserstein barycenter to provide a geometrically meaningful method for quantifying distribution differences and capturing the centroid of distribution sets efficiently. By embedding synthetic data in the feature spaces of pretrained classification models, we facilitate effective distribution matching that leverages prior knowledge inherent in these models. Our method not only maintains the computational advantages of distribution matching-based techniques but also achieves new state-of-the-art performance across a range of high-resolution datasets. Extensive testing demonstrates the effectiveness and adaptability of our method, underscoring the untapped potential of Wasserstein metrics in dataset distillation.
- Abstract(参考訳): Dataset Distillation (DD) は、大規模データセットの拡張情報をはるかに小さく合成された等価データにカプセル化する強力な戦略として登場し、計算オーバーヘッドを減らしてモデル性能を維持する。
この目的から、DDにおける分布マッチングを強化するために、最適な輸送理論に基づく計量であるワッサーシュタイン距離を導入する。
提案手法では,分布差を定量化し,分布集合のセントロイドを効率的に捉えるための幾何学的に意味のある方法として,ワッサーシュタイン・バリセンタを用いている。
事前学習した分類モデルの特徴空間に合成データを埋め込むことにより、これらのモデルに固有の事前知識を活用する効果的な分布マッチングを容易にする。
提案手法は,分散マッチング手法の計算上の優位性を維持するだけでなく,様々な高解像度データセットにまたがる新しい最先端性能を実現する。
本手法の有効性と適応性を検証し, データセット蒸留におけるワッサーシュタイン測定の未発見の可能性について検討した。
関連論文リスト
- Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。
データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。
本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文 参考訳(メタデータ) (2024-01-29T03:29:39Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Spectral Clustering for Discrete Distributions [25.232132445240243]
離散分布クラスタリング(D2C)は、ワッサーシュタイン・バリセンタ法によってしばしば解決された。
本稿では,スペクトルクラスタリングと分布親和性測定に基づく簡易かつ効果的なフレームワークを提案する。
本稿では,クラスタリング分布における提案手法の成功を理論的に保証する。
論文 参考訳(メタデータ) (2024-01-25T03:17:03Z) - M3D: Dataset Condensation by Minimizing Maximum Mean Discrepancy [26.227927019615446]
最先端の訓練(SOTA)の深層モデルは、しばしば膨大なデータを必要とするため、かなりの訓練と保存コストがかかる。
データセットの凝縮は、オリジナルの大規模データセットから必須情報を保存する小さな合成集合を学ぶために開発された。
本稿では,最大平均離散度を最小化することにより,データセットの凝縮を最小化するためのM3Dという新しいDMベースの手法を提案する。
論文 参考訳(メタデータ) (2023-12-26T07:45:32Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Towards Efficient Deep Hashing Retrieval: Condensing Your Data via
Feature-Embedding Matching [7.908244841289913]
最先端の深層ハッシュ検索モデルのトレーニングに要する費用は増加している。
最先端のデータセット蒸留法は、すべての深層ハッシュ検索法に拡張できない。
合成集合と実集合との特徴埋め込みをマッチングすることにより,これらの制約に対処する効率的な凝縮フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T13:23:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳(メタデータ) (2022-11-20T15:49:11Z) - DDAC-SpAM: A Distributed Algorithm for Fitting High-dimensional Sparse
Additive Models with Feature Division and Decorrelation [16.232378903482143]
本稿では,高次元のスパース加法モデルの下で特徴を分割する分散統計学習アルゴリズムDDAC-SpAMを提案する。
提案アルゴリズムの有効性と有効性は, 合成データと実データの両方に関する理論的解析と実験結果によって実証される。
提案手法は, スパース加法モデルと, 広範囲の領域で有望な応用を実現するための実用的ソリューションを提供する。
論文 参考訳(メタデータ) (2022-05-16T18:31:03Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳(メタデータ) (2021-11-22T06:26:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。