論文の概要: LoFT: LoRA-fused Training Dataset Generation with Few-shot Guidance

• arxiv url: http://arxiv.org/abs/2505.11703v1
• Date: Fri, 16 May 2025 21:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.792223
• Title: LoFT: LoRA-fused Training Dataset Generation with Few-shot Guidance
• Title（参考訳）: LoFT:Few-shot GuidanceによるLoRA融合トレーニングデータセット生成
• Authors: Jae Myung Kim, Stephan Alaniz, Cordelia Schmid, Zeynep Akata,
• Abstract要約: 本稿では,Few-shot Guidanceを用いたLoRA-Fused Training-data Generationという新しいデータセット生成フレームワークを提案する。 提案手法は,個々の実画像にLoRA重みを微調整し,推定時に融合させ,実画像の特徴を組み合わせた合成画像を生成し,データの多様性と忠実度を向上させる。 実験の結果,LoFT生成データに対するトレーニングは,他の合成データセット法より一貫して優れており,データセットのサイズが大きくなるにつれて精度が著しく向上することがわかった。
• 参考スコア（独自算出の注目度）: 96.6544564242316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent advances in text-to-image generation, using synthetically generated data seldom brings a significant boost in performance for supervised learning. Oftentimes, synthetic datasets do not faithfully recreate the data distribution of real data, i.e., they lack the fidelity or diversity needed for effective downstream model training. While previous work has employed few-shot guidance to address this issue, existing methods still fail to capture and generate features unique to specific real images. In this paper, we introduce a novel dataset generation framework named LoFT, LoRA-Fused Training-data Generation with Few-shot Guidance. Our method fine-tunes LoRA weights on individual real images and fuses them at inference time, producing synthetic images that combine the features of real images for improved diversity and fidelity of generated data. We evaluate the synthetic data produced by LoFT on 10 datasets, using 8 to 64 real images per class as guidance and scaling up to 1000 images per class. Our experiments show that training on LoFT-generated data consistently outperforms other synthetic dataset methods, significantly increasing accuracy as the dataset size increases. Additionally, our analysis demonstrates that LoFT generates datasets with high fidelity and sufficient diversity, which contribute to the performance improvement. The code is available at https://github.com/ExplainableML/LoFT.
• Abstract（参考訳）: 近年のテキスト・画像生成の進歩にもかかわらず、合成されたデータを使用することで教師あり学習のパフォーマンスが著しく向上することは滅多にない。 しばしば、合成データセットは実際のデータの分布を忠実に再現しない。 これまでの作業では、この問題に対処するために数ショットのガイダンスを使用していたが、既存のメソッドはまだ、特定の実際のイメージに固有の機能をキャプチャして生成することができない。 本稿では,Few-shot Guidanceを用いたLoFT(LoRA-Fused Training-data Generation)という新しいデータセット生成フレームワークを提案する。 提案手法は,個々の実画像にLoRA重みを微調整し,推定時に融合させ,実画像の特徴を組み合わせた合成画像を生成し,データの多様性と忠実度を向上させる。 我々は、LoFTが10のデータセット上で生成した合成データを評価し、クラス毎に8から64の実画像を使用し、クラス毎に最大1000の画像をスケーリングする。 実験の結果,LoFT生成データに対するトレーニングは,他の合成データセット法より一貫して優れており,データセットのサイズが大きくなるにつれて精度が著しく向上することがわかった。 さらに,本分析により,高い忠実度と十分な多様性を持つデータセットが生成され,性能改善に寄与することが示された。 コードはhttps://github.com/ExplainableML/LoFTで公開されている。

関連論文リスト

• LightGen: Efficient Image Generation through Knowledge Distillation and Direct Preference Optimization [37.236005953016175]
  LightGenは、画像生成モデルのための効率的なトレーニングパラダイムである。 最先端(SOTA)テキスト・ツー・イメージモデルから知識を抽出し、コンパクトなMasked Autoregressiveアーキテクチャに変換する。 実験では、LightGenがSOTAモデルに匹敵する画像生成品質を達成することを確認した。
  論文  参考訳（メタデータ） (2025-03-11T16:58:02Z)
• Large-Scale Data-Free Knowledge Distillation for ImageNet via Multi-Resolution Data Generation [53.95204595640208]
  Data-Free Knowledge Distillation (DFKD)は、教師モデルから生徒モデルへの知識伝達を可能にする高度な技術である。 従来のアプローチでは、実際の画像の情報を活用することなく、高解像度で合成画像を生成してきた。 MUSEは、クラスアクティベーションマップ(CAM)を使用して、低い解像度で画像を生成し、生成された画像が重要なクラス固有の特徴を保持することを保証する。
  論文  参考訳（メタデータ） (2024-11-26T02:23:31Z)
• DataDream: Few-shot Guided Dataset Generation [90.09164461462365]
  実データ分布をより忠実に表現する分類データセットを合成するためのフレームワークを提案する。 DataDream fine-tunes LoRA weights for the image generation model on the few real image before generated the training data using the adapt model。 次に、合成データを用いてCLIPのLoRA重みを微調整し、様々なデータセットに対する以前のアプローチよりも下流画像の分類を改善する。
  論文  参考訳（メタデータ） (2024-07-15T17:10:31Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Improving the Effectiveness of Deep Generative Data [5.856292656853396]
  下流の画像処理タスクのための純粋合成画像のモデルを訓練すると、実際のデータに対するトレーニングに比べ、望ましくない性能低下が生じる。 本稿では,この現象に寄与する要因を記述した新しい分類法を提案し,CIFAR-10データセットを用いて検討する。 本手法は,合成データと合成データの混合による学習と合成データのみの学習において,下流分類タスクのベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-07T12:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。