Fugu-MT 論文翻訳(概要): Adaptive Dataset Quantization

論文の概要: Adaptive Dataset Quantization

arxiv url: http://arxiv.org/abs/2412.16895v1
Date: Sun, 22 Dec 2024 07:08:29 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-24 15:58:24.640043
Title: Adaptive Dataset Quantization
Title（参考訳）: 適応的データセット量子化
Authors: Muquan Li, Dongyang Zhang, Qiang Dong, Xiurui Xie, Ke Qin,
Abstract要約: 適応データセット量子化(ADQ)という,データセット圧縮のための汎用フレームワークを導入する。本稿では,生成したビンの代表性スコア,多様性スコア,重要度スコアの評価を通じて,新しい適応型サンプリング戦略を提案する。提案手法は, 異なるアーキテクチャにまたがる優れた一般化能力を示すだけでなく, 各種データセットにおいてDQを平均3%越えて, 最先端の結果が得られる。
参考スコア（独自算出の注目度）: 2.0105434963031463
License:
Abstract: Contemporary deep learning, characterized by the training of cumbersome neural networks on massive datasets, confronts substantial computational hurdles. To alleviate heavy data storage burdens on limited hardware resources, numerous dataset compression methods such as dataset distillation (DD) and coreset selection have emerged to obtain a compact but informative dataset through synthesis or selection for efficient training. However, DD involves an expensive optimization procedure and exhibits limited generalization across unseen architectures, while coreset selection is limited by its low data keep ratio and reliance on heuristics, hindering its practicality and feasibility. To address these limitations, we introduce a newly versatile framework for dataset compression, namely Adaptive Dataset Quantization (ADQ). Specifically, we first identify the sub-optimal performance of naive Dataset Quantization (DQ), which relies on uniform sampling and overlooks the varying importance of each generated bin. Subsequently, we propose a novel adaptive sampling strategy through the evaluation of generated bins' representativeness score, diversity score and importance score, where the former two scores are quantified by the texture level and contrastive learning-based techniques, respectively. Extensive experiments demonstrate that our method not only exhibits superior generalization capability across different architectures, but also attains state-of-the-art results, surpassing DQ by average 3\% on various datasets.
Abstract（参考訳）: 現代のディープラーニングは、巨大なデータセット上の面倒なニューラルネットワークのトレーニングによって特徴づけられるが、かなりの計算ハードルに直面している。限られたハードウェアリソースに対する重データストレージの負担を軽減するため、データセット蒸留(DD)やコアセット選択といった多くのデータセット圧縮手法が登場し、効率的なトレーニングのための合成や選択を通じてコンパクトだが情報的なデータセットを得ることができた。しかし、DDは高価な最適化手順を伴い、目に見えないアーキテクチャをまたいだ限定的な一般化を示す一方で、コアセットの選択は、その低いデータ保持率とヒューリスティックスへの依存によって制限され、その実用性と実現性を妨げている。これらの制約に対処するため、データセット圧縮のための新しい汎用フレームワーク、すなわちAdaptive Dataset Quantization (ADQ)を導入する。具体的には、まず、一様サンプリングに依存して生成した各ビンの様々な重要性を見落としているネイブなデータセット量子化(DQ)の準最適性能を同定する。次に,従来の2つのスコアをそれぞれテクスチャレベルとコントラスト学習に基づく手法で定量化する,生成したビンの代表性スコア,多様性スコア,重要性スコアの評価を通じて,新しい適応型サンプリング戦略を提案する。大規模な実験により,本手法は異なるアーキテクチャにまたがる優れた一般化能力を示すだけでなく,様々なデータセットにおいてDQを平均3倍の精度で上回り,最先端の成果が得られることが示された。

関連論文リスト

Dataset Distillation as Pushforward Optimal Quantization [1.039189397779466]
そこで本稿では,ImageNet-1Kデータセットの性能向上を目的とした,最先端データ蒸留法D4Mの簡易拡張を提案する。エンコーダ・デコーダ構造を組み込んだ場合、実験的に成功した不整合法を最適な量子化問題として再定義できることを実証する。特に, 既存の不整合データセット蒸留法を古典的最適量子化法とワッサーシュタインバリセンタ問題にリンクし, 拡散型生成前処理のための蒸留データセットの整合性を示す。
論文参考訳（メタデータ） (2025-01-13T20:41:52Z)
Diffusion-Augmented Coreset Expansion for Scalable Dataset Distillation [18.474302012851087]
そこで本研究では,データセット蒸留のための2段階の解法を提案する。まず、最も情報性の高いパッチのみを選択して、コアセットを形成することでデータセットを圧縮する。次に、この圧縮された集合をリアルタイムで動的に拡張するために、生成基礎モデルを活用する。いくつかの大規模データセット蒸留ベンチマークでは,最先端技術と比較して10%以上の顕著な改善がみられた。
論文参考訳（メタデータ） (2024-12-05T23:40:27Z)
A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-15T03:00:58Z)
Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
論文参考訳（メタデータ） (2024-08-22T15:20:32Z)
Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。提案手法は,最先端のデータセット圧縮手法よりも優れている。
論文参考訳（メタデータ） (2024-07-09T23:09:18Z)
D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning [70.98091101459421]
コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
論文参考訳（メタデータ） (2023-10-11T23:01:29Z)
Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文参考訳（メタデータ） (2023-07-19T04:07:33Z)
Towards Efficient Deep Hashing Retrieval: Condensing Your Data via Feature-Embedding Matching [7.908244841289913]
最先端の深層ハッシュ検索モデルのトレーニングに要する費用は増加している。最先端のデータセット蒸留法は、すべての深層ハッシュ検索法に拡張できない。合成集合と実集合との特徴埋め込みをマッチングすることにより,これらの制約に対処する効率的な凝縮フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-29T13:23:55Z)
Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文参考訳（メタデータ） (2022-08-26T04:28:01Z)
CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。