論文の概要: Leveraging Hierarchical Feature Sharing for Efficient Dataset
Condensation
- arxiv url: http://arxiv.org/abs/2310.07506v1
- Date: Wed, 11 Oct 2023 14:02:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 22:31:37.234024
- Title: Leveraging Hierarchical Feature Sharing for Efficient Dataset
Condensation
- Title(参考訳): 効率的なデータセット凝縮のための階層的特徴共有の活用
- Authors: Haizhong Zheng, Jiachen Sun, Shutong Wu, Bhavya Kailkhura, Zhuoqing
Mao, Chaowei Xiao, and Atul Prakash
- Abstract要約: 階層型メモリネットワーク(HMN)という新しいデータパラメータ化アーキテクチャを提案する。
HMNは、凝縮したデータを3層構造に格納し、データセットレベル、クラスレベル、インスタンスレベルの特徴を表現する。
我々は、HMNを4つの公開データセットで評価し、HMNと8つのDCベースラインを比較した。
- 参考スコア(独自算出の注目度): 38.59750970617013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a real-world dataset, data condensation (DC) aims to synthesize a
significantly smaller dataset that captures the knowledge of this dataset for
model training with high performance. Recent works propose to enhance DC with
data parameterization, which condenses data into parameterized data containers
rather than pixel space. The intuition behind data parameterization is to
encode shared features of images to avoid additional storage costs. In this
paper, we recognize that images share common features in a hierarchical way due
to the inherent hierarchical structure of the classification system, which is
overlooked by current data parameterization methods. To better align DC with
this hierarchical nature and encourage more efficient information sharing
inside data containers, we propose a novel data parameterization architecture,
Hierarchical Memory Network (HMN). HMN stores condensed data in a three-tier
structure, representing the dataset-level, class-level, and instance-level
features. Another helpful property of the hierarchical architecture is that HMN
naturally ensures good independence among images despite achieving information
sharing. This enables instance-level pruning for HMN to reduce redundant
information, thereby further minimizing redundancy and enhancing performance.
We evaluate HMN on four public datasets (SVHN, CIFAR10, CIFAR100, and
Tiny-ImageNet) and compare HMN with eight DC baselines. The evaluation results
show that our proposed method outperforms all baselines, even when trained with
a batch-based loss consuming less GPU memory.
- Abstract(参考訳): 実世界のデータセットが与えられたとき、データ凝縮(DC)は、非常に小さなデータセットを合成することを目的としています。
最近の研究は、データをピクセル空間ではなくパラメータ化されたデータコンテナに凝縮するデータパラメータ化により、DCを強化することを提案する。
データパラメータ化の背景にある直感は、画像の共有機能をエンコードし、追加のストレージコストを回避することである。
本稿では,現在のデータパラメータ化手法によって見過される分類システムの階層構造により,画像が階層的に共通の特徴を共有していることを認識する。
この階層的な性質とDCの整合性を向上し,データコンテナ内の情報共有の効率化を図るため,新しいデータパラメータ化アーキテクチャである階層メモリネットワーク(HMN)を提案する。
hmnは凝縮したデータを3層構造に格納し、データセットレベル、クラスレベル、インスタンスレベルの特徴を表す。
階層アーキテクチャのもう1つの有用な特性は、HMNが情報共有の達成にもかかわらず、自然に画像間で良好な独立性を保証することである。
これにより、HMNのインスタンスレベルのプルーニングにより冗長情報を低減し、冗長性をさらに最小化し、性能を向上させることができる。
我々は,4つの公開データセット(SVHN, CIFAR10, CIFAR100, Tiny-ImageNet)上でHMNを評価し,HMNを8つのDCベースラインと比較した。
評価の結果,GPUメモリを消費しないバッチベースの損失を訓練しても,提案手法は全てのベースラインより優れていた。
関連論文リスト
- Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Dynamic Data Augmentation via MCTS for Prostate MRI Segmentation [19.780410411548935]
本稿ではDDAug(Dynamic Data Augmentation)を提案する。
DDAug計算は、様々な拡張を表現する階層木構造を開発する。
我々の手法は、現在の最先端データ拡張戦略より優れています。
論文 参考訳(メタデータ) (2023-05-25T06:44:43Z) - {\mu}Split: efficient image decomposition for microscopy data [50.794670705085835]
muSplitは、蛍光顕微鏡画像の文脈で訓練された画像分解のための専用アプローチである。
本稿では,大規模な画像コンテキストのメモリ効率向上を実現するメタアーキテクチャである横型文脈化(LC)を提案する。
muSplitを5つの分解タスクに適用し、1つは合成データセットに、もう4つは実際の顕微鏡データから導出する。
論文 参考訳(メタデータ) (2022-11-23T11:26:24Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-10-23T18:37:22Z) - Dataset Condensation with Latent Space Knowledge Factorization and
Sharing [73.31614936678571]
与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。
データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。
提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
論文 参考訳(メタデータ) (2022-08-21T18:14:08Z) - Hierarchical Nearest Neighbor Graph Embedding for Efficient
Dimensionality Reduction [25.67957712837716]
元の空間における1-アレスト近傍グラフ上に構築された階層構造に基づく新しい手法を提案する。
この提案は、t-SNE と UMAP の最新バージョンと競合する最適化のないプロジェクションである。
そこで本論文では,提案手法の健全性について論じ,28~16Kの範囲で1Kから1100万のサンプルと寸法の異なるデータセットの多種多様なコレクション上で評価を行った。
論文 参考訳(メタデータ) (2022-03-24T11:41:16Z) - Deep Recursive Embedding for High-Dimensional Data [9.611123249318126]
本稿では,DNN(Deep Neural Network)と高次元データ埋め込みのための数学誘導埋め込みルールを組み合わせることを提案する。
本稿では,高次元空間から低次元空間へのパラメトリックマッピングを学習可能な汎用ディープ埋め込みネットワーク(DEN)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-31T23:22:33Z) - Index $t$-SNE: Tracking Dynamics of High-Dimensional Datasets with
Coherent Embeddings [1.7188280334580195]
本稿では,クラスタの位置を保存した新しいものを作成するために,埋め込みを再利用する手法を提案する。
提案アルゴリズムは,新しい項目を埋め込むために$t$-SNEと同じ複雑さを持つ。
論文 参考訳(メタデータ) (2021-09-22T06:45:37Z) - Sequential Hierarchical Learning with Distribution Transformation for
Image Super-Resolution [83.70890515772456]
画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。
特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。
実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
論文 参考訳(メタデータ) (2020-07-19T01:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。