論文の概要: Dataset Distillation for Super-Resolution without Class Labels and Pre-trained Models

• arxiv url: http://arxiv.org/abs/2509.14777v1
• Date: Thu, 18 Sep 2025 09:25:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.145693
• Title: Dataset Distillation for Super-Resolution without Class Labels and Pre-trained Models
• Title（参考訳）: クラスラベルと事前学習モデルのない超溶解のためのデータセット蒸留
• Authors: Sunwoo Cho, Yejin Jung, Nam Ik Cho, Jae Woong Soh,
• Abstract要約: ディープニューラルネットワークのトレーニングはますます需要を増し、大規模なデータセットと重要な計算リソースを必要としている。 本稿では,クラスラベルや事前学習SRモデルを必要としない画像SRに対して,新しいデータ蒸留手法を提案する。 実験結果から,本手法はトレーニングデータを大幅に削減し,計算時間を削減するとともに,最先端の性能を実現することが示された。
• 参考スコア（独自算出の注目度）: 22.094181812322574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks has become increasingly demanding, requiring large datasets and significant computational resources, especially as model complexity advances. Data distillation methods, which aim to improve data efficiency, have emerged as promising solutions to this challenge. In the field of single image super-resolution (SISR), the reliance on large training datasets highlights the importance of these techniques. Recently, a generative adversarial network (GAN) inversion-based data distillation framework for SR was proposed, showing potential for better data utilization. However, the current method depends heavily on pre-trained SR networks and class-specific information, limiting its generalizability and applicability. To address these issues, we introduce a new data distillation approach for image SR that does not need class labels or pre-trained SR models. In particular, we first extract high-gradient patches and categorize images based on CLIP features, then fine-tune a diffusion model on the selected patches to learn their distribution and synthesize distilled training images. Experimental results show that our method achieves state-of-the-art performance while using significantly less training data and requiring less computational time. Specifically, when we train a baseline Transformer model for SR with only 0.68\% of the original dataset, the performance drop is just 0.3 dB. In this case, diffusion model fine-tuning takes 4 hours, and SR model training completes within 1 hour, much shorter than the 11-hour training time with the full dataset.
• Abstract（参考訳）: 深層ニューラルネットワークのトレーニングはますます需要を増し、特にモデルの複雑性が向上するにつれて、大規模なデータセットと重要な計算リソースを必要としている。 データ蒸留法は, この課題に対する有望な解決策として, データ効率の向上を目的としている。 単一画像超解像(SISR)の分野では、大規模なトレーニングデータセットへの依存がこれらの技術の重要性を強調している。 近年,SRの逆変換に基づくデータ蒸留フレームワーク(GAN)が提案され,データ利用が向上する可能性が示唆された。 しかし、現在の手法は、事前訓練されたSRネットワークとクラス固有の情報に大きく依存し、その一般化性と適用性を制限する。 これらの問題に対処するために、クラスラベルや事前訓練されたSRモデルを必要としない画像SRのための新しいデータ蒸留手法を提案する。 特に,まず高次パッチを抽出し,CLIPの特徴に基づいて画像を分類し,選択したパッチ上で拡散モデルを微調整し,その分布を学習し,蒸留したトレーニング画像を合成する。 実験結果から,本手法はトレーニングデータを大幅に削減し,計算時間を削減するとともに,最先端の性能を実現することが示された。 具体的には、SRのベースライントランスフォーマーモデルをトレーニングする場合、元のデータセットのわずか0.68\%で、パフォーマンス低下は0.3dBに過ぎません。 この場合、拡散モデルの微調整には4時間かかり、SRモデルのトレーニングは1時間以内で完了する。

関連論文リスト

• Dataset Distillation as Pushforward Optimal Quantization [2.5892916589735457]
  そこで本研究では,実データ上での学習に類似した性能を,桁違いに少ない計算量で実現した合成トレーニングセットを提案する。 特に、既存の非絡み合ったデータセット蒸留法を古典的最適量子化とワッサーシュタインのバリセンタ問題にリンクする。 我々は,ImageNet-1Kデータセットの性能向上とモデル間一般化を,より簡単な追加計算で実現し,より高階のイメージ・パー・クラス・セッティングにおけるSOTA性能を向上する。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Rethinking Image Super-Resolution from Training Data Perspectives [54.28824316574355]
  画像超解像(SR)におけるトレーニングデータの効果について検討する。 そこで我々は,自動画像評価パイプラインを提案する。 その結果, (i) 圧縮アーチファクトの少ないデータセット, (ii) 被写体数によって判断される画像内多様性の高いデータセット, (iii) ImageNet や PASS からの大量の画像がSR性能に肯定的な影響を与えることがわかった。
  論文  参考訳（メタデータ） (2024-09-01T16:25:04Z)
• Self-supervised Dataset Distillation: A Good Compression Is All You Need [23.02066055996762]
  SC-DDは, データセット蒸留のための簡易かつ効果的な自己教師圧縮フレームワークである。 提案したSC-DDは、より大規模なモデルを用いる場合、従来の最先端のデータセット蒸留法よりも優れている。 CIFAR-100, Tiny-ImageNet, ImageNet-1Kデータセットを用いて提案手法の優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-04-11T17:56:40Z)
• A Study in Dataset Pruning for Image Super-Resolution [9.512648704408095]
  損失値に基づいて選択したトレーニングサンプルのコアセットにデータセットを還元する,新たなアプローチを導入する。 データセット全体のトレーニングで得られた結果に匹敵する、あるいは上回る結果が得られます。
  論文  参考訳（メタデータ） (2024-03-25T18:16:34Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality [78.6359306550245]
  蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T20:04:44Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning [28.042568086423298]
  ランダム・サブセットの繰り返しサンプリング(RS2)は、強力だが見落とされたランダムサンプリング戦略である。 我々は、ImageNetを含む4つのデータセットにわたる30の最先端データプルーニングとデータ蒸留法に対してRS2をテストする。 その結果,RS2は既存の手法に比べて時間と精度を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2023-05-28T20:38:13Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。