論文の概要: Tiny models from tiny data: Textual and null-text inversion for few-shot distillation

• arxiv url: http://arxiv.org/abs/2406.03146v2
• Date: Thu, 20 Mar 2025 12:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:32:16.742315
• Title: Tiny models from tiny data: Textual and null-text inversion for few-shot distillation
• Title（参考訳）: 微小データからのTinyモデル:数発蒸留におけるテキストとヌルテキストの逆変換
• Authors: Erik Landolsi, Fredrik Kahl,
• Abstract要約: ごく少数のトレーニング例を用いて、画像分類などの問題に対処する例は少ない。 近年の視覚基礎モデルでは、数発の転送能力は優れているが、推論では大きくて遅い。 本稿では,テキスト逆変換の多様性とNull-text逆変換の特異性を組み合わせた新しい拡散モデル逆変換法(TINT)を提案する。
• 参考スコア（独自算出の注目度）: 11.80626524879555
• License:
• Abstract: Few-shot learning deals with problems such as image classification using very few training examples. Recent vision foundation models show excellent few-shot transfer abilities, but are large and slow at inference. Using knowledge distillation, the capabilities of high-performing but slow models can be transferred to tiny, efficient models. However, common distillation methods require a large set of unlabeled data, which is not available in the few-shot setting. To overcome this lack of data, there has been a recent interest in using synthetic data. We expand on this line of research by presenting a novel diffusion model inversion technique (TINT) combining the diversity of textual inversion with the specificity of null-text inversion. Using this method in a few-shot distillation pipeline leads to state-of-the-art accuracy among small student models on popular benchmarks, while being significantly faster than prior work. Popular few-shot benchmarks involve evaluation over a large number of episodes, which is computationally cumbersome for methods involving synthetic data generation. We also present a theoretical analysis on how the accuracy estimator variance depends on the number of episodes and query examples, and use these results to lower the computational effort required for method evaluation. Finally, to further motivate the use of generative models in few-shot distillation, we demonstrate that our method outperforms training on real data mined from the dataset used in the original diffusion model training. Source code is available at https://github.com/pixwse/tiny2.
• Abstract（参考訳）: ごく少数のトレーニング例を用いて、画像分類などの問題に対処する例は少ない。 近年の視覚基礎モデルでは、数発の転送能力は優れているが、推論では大きくて遅い。 知識蒸留を用いて、高性能だが遅いモデルの能力は、小型で効率的なモデルに移行することができる。 しかし、一般的な蒸留法にはラベルのない大量のデータが必要であるが、これは数ショットの環境では利用できない。 このデータ不足を克服するために、最近は合成データの使用に関心がある。 本稿では,テキスト逆変換の多様性とNull-text逆変換の特異性を組み合わせた新しい拡散モデル逆変換法(TINT)を提案することにより,この研究線を拡大する。 この手法を数発の蒸留パイプラインで使用すると、一般的なベンチマーク上の小さな学生モデルの間で最先端の精度が得られるが、前よりもかなり高速である。 人気のある数ショットのベンチマークでは、多数のエピソードに対して評価が行われており、合成データ生成を含む手法では計算に煩雑である。 また,精度推定器のばらつきがエピソード数やクエリの例数にどのように依存するかを理論的に分析し,これらの結果を用いて,手法評価に必要な計算労力を低減させる。 最後に, 数発蒸留における生成モデルの利用をさらに促進するために, 本手法は, 原拡散モデルトレーニングで使用するデータセットから抽出した実データに対して, より優れた訓練を行うことを示す。 ソースコードはhttps://github.com/pixwse/tiny2.comで入手できる。

関連論文リスト

• Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
  主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。 実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
  論文  参考訳（メタデータ） (2024-03-25T19:15:19Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Less is More: On the Feature Redundancy of Pretrained Models When Transferring to Few-shot Tasks [120.23328563831704]
  事前訓練されたモデルを下流タスクに転送することは、ターゲットデータと線形探索を行うのと同じくらい簡単である。 線形探索では, 下流データが少ない場合に, 事前学習した特徴が極めて冗長であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T19:00:49Z)
• Few-Shot Object Detection via Synthetic Features with Optimal Transport [28.072187044345107]
  我々は,新しいクラスのための合成データを生成するために,ジェネレータを訓練する新しい手法を提案する。 私たちの包括的な目標は、ベースデータセットのデータバリエーションをキャプチャするジェネレータをトレーニングすることにあります。 次に、学習したジェネレータを用いて合成データを生成することにより、キャプチャしたバリエーションを新しいクラスに変換する。
  論文  参考訳（メタデータ） (2023-08-29T03:54:26Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
  我々は2つの人気のある更新手法、微調整と線形探索を比較した。 試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T08:47:06Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Data Distillation for Text Classification [7.473576666437028]
  データ蒸留は、大規模なトレーニングデータセットから、より小さな合成データセットに知識を蒸留することを目的としている。 テキスト分類のための新しいデータ蒸留法を開発した。 元のテキストデータの0.1%のサイズの蒸留されたデータは、元の約90%のパフォーマンスを達成する結果は、かなり印象的です。
  論文  参考訳（メタデータ） (2021-04-17T04:54:54Z)
• Pre-trained Summarization Distillation [121.14806854092672]
  近年の分類・回帰作業におけるBERT蒸留の研究は, 直接的知識蒸留による高い性能を示している。 あるいは、機械翻訳の実践者は擬似ラベルを用いて蒸留し、小さなモデルをより大きなモデルの翻訳に基づいて訓練する。 第三に、より単純なアプローチは'shrink and fine-tune' (SFT) であり、より小さな学生モデルにパラメータをコピーして微調整することで、明示的な蒸留を避ける。
  論文  参考訳（メタデータ） (2020-10-24T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。