論文の概要: Towards Model-Agnostic Dataset Condensation by Heterogeneous Models

• arxiv url: http://arxiv.org/abs/2409.14538v1
• Date: Sun, 22 Sep 2024 17:13:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:19:40.862603
• Title: Towards Model-Agnostic Dataset Condensation by Heterogeneous Models
• Title（参考訳）: 不均一モデルによるモデル非依存的データセット凝縮に向けて
• Authors: Jun-Yeong Moon, Jung Uk Kim, Gyeong-Moon Park,
• Abstract要約: 我々は,クロスモデル相互作用により,普遍的に適用可能なコンデンサ画像を生成する新しい手法を開発した。 モデルのコントリビューションのバランスとセマンティックな意味の密接な維持により,本手法は,モデル固有凝縮画像に関連する制約を克服する。
• 参考スコア（独自算出の注目度）: 13.170099297210372
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Abstract. The advancement of deep learning has coincided with the proliferation of both models and available data. The surge in dataset sizes and the subsequent surge in computational requirements have led to the development of the Dataset Condensation (DC). While prior studies have delved into generating synthetic images through methods like distribution alignment and training trajectory tracking for more efficient model training, a significant challenge arises when employing these condensed images practically. Notably, these condensed images tend to be specific to particular models, constraining their versatility and practicality. In response to this limitation, we introduce a novel method, Heterogeneous Model Dataset Condensation (HMDC), designed to produce universally applicable condensed images through cross-model interactions. To address the issues of gradient magnitude difference and semantic distance in models when utilizing heterogeneous models, we propose the Gradient Balance Module (GBM) and Mutual Distillation (MD) with the SpatialSemantic Decomposition method. By balancing the contribution of each model and maintaining their semantic meaning closely, our approach overcomes the limitations associated with model-specific condensed images and enhances the broader utility. The source code is available in https://github.com/KHU-AGI/HMDC.
• Abstract（参考訳）: 抽象。 ディープラーニングの進歩は、モデルと利用可能なデータの両方の拡散と一致している。 データセットサイズの増加とその後の計算要求の増加は、データセット凝縮(Dataset Condensation:DC)の開発につながった。 従来の研究では、より効率的なモデルトレーニングのために、分散アライメントやトレーニング軌道追跡などの方法で合成画像を生成する方法が検討されてきたが、これらの凝縮されたイメージを実用的に利用する場合には、大きな課題が生じる。 特に、これらの凝縮された画像は特定のモデルに特有であり、その汎用性と実用性を制約する傾向がある。 この制限に対応するために,異種モデルデータセット凝縮法 (HMDC) を提案する。 異種モデルを用いたモデルにおける勾配等級差と意味的距離の問題に対処するため,空間意味分解法を用いてグラディエント・バランス・モジュール (GBM) と相互蒸留 (MD) を提案する。 提案手法は,各モデルのコントリビューションのバランスとセマンティックな意味の密接な維持により,モデル固有凝縮画像に関連する制約を克服し,より広範な有用性を高める。 ソースコードはhttps://github.com/KHU-AGI/HMDCで入手できる。

関連論文リスト

• Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective [52.778766190479374]
  遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めた。 同じ遅延空間を共有するにもかかわらず、自己回帰モデルは画像生成において LDM や MIM よりもかなり遅れている。 本稿では,画像生成モデルのための遅延空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T12:13:17Z)
• Aggregation of Multi Diffusion Models for Enhancing Learned Representations [4.126721111013567]
  本稿では, Aggregation of Multi Diffusion Models (AMDM) を提案する。 AMDMは、複数の拡散モデルから特定のモデルに特徴を合成し、学習された表現を拡張して、きめ細かい制御のために特定の特徴を活性化する。 実験の結果,AMDMはトレーニング時間や推論時間を必要とせず,微粒化制御を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2024-10-02T06:16:06Z)
• Inverse design with conditional cascaded diffusion models [0.0]
  随伴型設計最適化は通常計算コストが高く、それらのコストは分解能でスケールする。 我々は、条件付きカスケード拡散モデル(cCDM)の提案により、従来の生成モデルよりも拡散モデルの利用を拡大する。 本研究は,cCDMをcGANモデルと転写学習を比較した。 どちらのモデルも高分解能トレーニングデータを減らすことで性能が低下するが、cCDMは訓練データに制限がある場合、伝達学習を伴うcGANモデルよりも優れる。
  論文  参考訳（メタデータ） (2024-08-16T04:54:09Z)
• Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
  拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。 遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
  論文  参考訳（メタデータ） (2024-06-21T01:32:03Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• TC-DiffRecon: Texture coordination MRI reconstruction method based on diffusion model and modified MF-UNet method [2.626378252978696]
  本稿では,T-DiffReconという名前の拡散モデルに基づくMRI再構成法を提案する。 また、モデルにより生成されたMRI画像の品質を高めるために、MF-UNetモジュールを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-02-17T13:09:00Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。