論文の概要: Leveraging Hierarchical Feature Sharing for Efficient Dataset Condensation

• arxiv url: http://arxiv.org/abs/2310.07506v1
• Date: Wed, 11 Oct 2023 14:02:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 22:31:37.234024
• Title: Leveraging Hierarchical Feature Sharing for Efficient Dataset Condensation
• Title（参考訳）: 効率的なデータセット凝縮のための階層的特徴共有の活用
• Authors: Haizhong Zheng, Jiachen Sun, Shutong Wu, Bhavya Kailkhura, Zhuoqing Mao, Chaowei Xiao, and Atul Prakash
• Abstract要約: 階層型メモリネットワーク(HMN)という新しいデータパラメータ化アーキテクチャを提案する。 HMNは、凝縮したデータを3層構造に格納し、データセットレベル、クラスレベル、インスタンスレベルの特徴を表現する。 我々は、HMNを4つの公開データセットで評価し、HMNと8つのDCベースラインを比較した。
• 参考スコア（独自算出の注目度）: 38.59750970617013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a real-world dataset, data condensation (DC) aims to synthesize a significantly smaller dataset that captures the knowledge of this dataset for model training with high performance. Recent works propose to enhance DC with data parameterization, which condenses data into parameterized data containers rather than pixel space. The intuition behind data parameterization is to encode shared features of images to avoid additional storage costs. In this paper, we recognize that images share common features in a hierarchical way due to the inherent hierarchical structure of the classification system, which is overlooked by current data parameterization methods. To better align DC with this hierarchical nature and encourage more efficient information sharing inside data containers, we propose a novel data parameterization architecture, Hierarchical Memory Network (HMN). HMN stores condensed data in a three-tier structure, representing the dataset-level, class-level, and instance-level features. Another helpful property of the hierarchical architecture is that HMN naturally ensures good independence among images despite achieving information sharing. This enables instance-level pruning for HMN to reduce redundant information, thereby further minimizing redundancy and enhancing performance. We evaluate HMN on four public datasets (SVHN, CIFAR10, CIFAR100, and Tiny-ImageNet) and compare HMN with eight DC baselines. The evaluation results show that our proposed method outperforms all baselines, even when trained with a batch-based loss consuming less GPU memory.
• Abstract（参考訳）: 実世界のデータセットが与えられたとき、データ凝縮(DC)は、非常に小さなデータセットを合成することを目的としています。 最近の研究は、データをピクセル空間ではなくパラメータ化されたデータコンテナに凝縮するデータパラメータ化により、DCを強化することを提案する。 データパラメータ化の背景にある直感は、画像の共有機能をエンコードし、追加のストレージコストを回避することである。 本稿では,現在のデータパラメータ化手法によって見過される分類システムの階層構造により,画像が階層的に共通の特徴を共有していることを認識する。 この階層的な性質とDCの整合性を向上し,データコンテナ内の情報共有の効率化を図るため,新しいデータパラメータ化アーキテクチャである階層メモリネットワーク(HMN)を提案する。 hmnは凝縮したデータを3層構造に格納し、データセットレベル、クラスレベル、インスタンスレベルの特徴を表す。 階層アーキテクチャのもう1つの有用な特性は、HMNが情報共有の達成にもかかわらず、自然に画像間で良好な独立性を保証することである。 これにより、HMNのインスタンスレベルのプルーニングにより冗長情報を低減し、冗長性をさらに最小化し、性能を向上させることができる。 我々は,4つの公開データセット(SVHN, CIFAR10, CIFAR100, Tiny-ImageNet)上でHMNを評価し,HMNを8つのDCベースラインと比較した。 評価の結果,GPUメモリを消費しないバッチベースの損失を訓練しても,提案手法は全てのベースラインより優れていた。

関連論文リスト

• A Cosmic-Scale Benchmark for Symmetry-Preserving Data Processing [1.96862953848735]
  局所的なクラスタリング環境と長距離相関を同時にキャプチャするグラフニューラルネットワークの能力をベンチマークする。 現在のアーキテクチャでは、ドメイン固有のベースラインと同様に、長距離相関から情報を取得することができません。
  論文  参考訳（メタデータ） (2024-10-27T16:58:48Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Zero-shot Composed Text-Image Retrieval [72.43790281036584]
  合成画像検索(CIR)の問題点を考察する。 テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
  論文  参考訳（メタデータ） (2023-06-12T17:56:01Z)
• Dynamic Data Augmentation via MCTS for Prostate MRI Segmentation [19.780410411548935]
  本稿ではDDAug(Dynamic Data Augmentation)を提案する。 DDAug計算は、様々な拡張を表現する階層木構造を開発する。 我々の手法は、現在の最先端データ拡張戦略より優れています。
  論文  参考訳（メタデータ） (2023-05-25T06:44:43Z)
• Dataset Condensation with Latent Space Knowledge Factorization and Sharing [73.31614936678571]
  与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。 データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。 提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
  論文  参考訳（メタデータ） (2022-08-21T18:14:08Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Deep Recursive Embedding for High-Dimensional Data [9.611123249318126]
  本稿では,DNN(Deep Neural Network)と高次元データ埋め込みのための数学誘導埋め込みルールを組み合わせることを提案する。 本稿では,高次元空間から低次元空間へのパラメトリックマッピングを学習可能な汎用ディープ埋め込みネットワーク(DEN)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-31T23:22:33Z)
• Index $t$-SNE: Tracking Dynamics of High-Dimensional Datasets with Coherent Embeddings [1.7188280334580195]
  本稿では,クラスタの位置を保存した新しいものを作成するために,埋め込みを再利用する手法を提案する。 提案アルゴリズムは,新しい項目を埋め込むために$t$-SNEと同じ複雑さを持つ。
  論文  参考訳（メタデータ） (2021-09-22T06:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。