論文の概要: Dog-Breed Text-to-image Flow Matching from Pretraining to Fine-Tuning on 4 Consumer GPUs
- arxiv url: http://arxiv.org/abs/2610.18870v1
- Date: Tue, 13 Oct 2026 17:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.721059
- Title: Dog-Breed Text-to-image Flow Matching from Pretraining to Fine-Tuning on 4 Consumer GPUs
- Title（参考訳）: 4つのGPU上でのプリトレーニングからファインチューニングまでのドッグブレードテキスト・ツー・イメージフローマッチング
- Abstract要約: MiniDogは、55分で事前トレーニング可能な拡散トランスフォーマーと、3090 GPU4台で15分で微調整が可能なフレームワークである。
データにはImageNetから26kのドッグイメージを使用し、FLUX.1-schnellが生成した2kのイメージをプリトレーニングし、キャプションして微調整する。
アーキテクチャでは、E2E-INVAEをセマンティック潜在空間、22Mパラメータを持つ小さなトランスフォーマー、テキストエンコーディングのための小さなQwenモデル、コンテキスト内コンディショニングに使用しています。
- 参考スコア（独自算出の注目度）: 11.645276864765819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We generally perceive that training text-to-image diffusion models requires heavy compute: it is true if we aim at a comprehensive frontier model. This understanding prevents people from training their own models when getting started in the field. We develop MiniDog, a framework that enables pretraining diffusion transformers in 55 minutes and fine-tuning in another 15 minutes on four 3090 GPUs. For data, we use 26k dog images from ImageNet and caption them for pretraining and use 2k images generated by FLUX.1-schnell for fine-tuning. We precompute the image and text features and cache them for efficiency. For architecture, we use E2E-INVAE for its semantic latent space, a small transformer with 22M parameters, a small Qwen model for text encoding, and in-context conditioning. For training, we use iREPA and an EUPE perception encoder for acceleration. For evaluation, our repository supports FID, HPSv2 score, PickScore, and various VAE reconstruction metrics.
- Abstract（参考訳）: テキストから画像への拡散モデルのトレーニングには重い計算が必要であると考えるのが一般的である。
この理解は、フィールドで始めるとき、人々が自身のモデルをトレーニングすることを妨げます。
55分で事前学習し、3090GPU4台で15分で微調整できるフレームワークであるMiniDogを開発した。
データにはImageNetから26kのドッグイメージを使用し、FLUX.1-schnellが生成した2kのイメージをプリトレーニングし、キャプションして微調整する。
画像とテキストの特徴をプリコンパイルし、効率よくキャッシュします。
アーキテクチャでは、E2E-INVAEをセマンティック潜在空間、22Mパラメータを持つ小さなトランスフォーマー、テキストエンコーディングのための小さなQwenモデル、コンテキスト内コンディショニングに使用しています。
トレーニングでは、加速のためにiREPAとEUPE認識エンコーダを使用します。
評価のために、FID、HPSv2スコア、PickScore、および様々なVAE再構成メトリクスをサポートしている。
関連論文リスト
- Mid-Training Language Models on Raw Video [47.38509243527735]
プレトレーニング言語モデルの中間訓練データとして,キャプションのない生動画とテキストロスのない生動画が有効かどうかを検討した。
我々は、YT-supervised-1Bの生クリップをトレーニング中であるQ3-1.7Bとし、トレーニング中でないモデルに同じ画像テキストのチューニングを適用した。
トレーニング中のモデルでは、4つのビデオベンチマークで平均2.9ポイント、10のイメージベンチマークで5.1ポイント上昇している。
論文 参考訳（メタデータ） (2026-10-08T00:03:39Z) - LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes [48.49432428628151]
我々は6B Diffusion Transformer (DiT) をスクラッチからトレーニングした統合フレームワークであるLLaDA-Imageを紹介した。
生成パイプラインは220万のサンプルで構成されており、98は実際のイメージである。
Qwen-Image-Benchでは、LLaDA-Imageがそれぞれ英語と中国語のトラックで53.53と53.38のスコアを獲得した。
論文 参考訳（メタデータ） (2026-09-03T13:02:40Z) - Lens: Rethinking Training Efficiency for Foundational Text-to-Image Models [88.94987156920575]
我々は,6B以上のパラメータを持つ最先端のモデルと競合する性能を実現するT2IモデルであるLensを紹介した。
例えば、Z-Imageが使用するトレーニング計算の19.3%しか必要としない。
Lensは1つのNVIDIA H100 GPU上で10242イメージを3.15秒で生成し、蒸留したターボバージョンは0.84秒で4ステップ生成を行う。
論文 参考訳（メタデータ） (2026-05-20T17:59:58Z) - REDUCIO! Generating 1K Video within 16 Seconds using Extremely Compressed Motion Latents [110.41795676048835]
大規模アプリケーションにとって重要な障害のひとつは、高価なトレーニングと推論コストである。
我々は、ビデオには画像よりもはるかに冗長な情報が含まれており、非常に少ない動きでエンコードできると主張している。
我々は、映像を非常に圧縮された潜在空間に投影する画像条件付きVAEを設計し、コンテンツ画像に基づいてデコードする。
論文 参考訳（メタデータ） (2024-11-20T18:59:52Z) - AM Flow: Adapters for Temporal Processing in Action Recognition [6.67921694218089]
textitAttention Map (AM) Flowは、入力されたビデオフレーム内の動きに関連するピクセルを識別する手法である。
AMフローは空間的および時間的処理の分離を可能にし、時間的処理の組合せよりも改善された結果を提供する。
我々は、Kineetics-400、Something v2、Toyota Smarthomeのデータセットについて実験を行い、最先端または同等の結果を示す。
論文 参考訳（メタデータ） (2024-11-04T13:07:22Z) - SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers [41.79064227895747]
Sanaは4096$times$4096解像度までの画像を生成できるテキスト・ツー・イメージのフレームワークである。
Sanaは、高解像度で高品質な画像を、強力なテキストイメージアライメントで驚くほど高速に合成し、ラップトップGPUにデプロイすることができる。
論文 参考訳（メタデータ） (2024-10-14T15:36:42Z) - Fast Training of Diffusion Models with Masked Transformers [107.77340216247516]
マスク付き変圧器を用いた大規模拡散モデルの学習に有効な手法を提案する。
具体的には、トレーニング中に拡散された入力画像のパッチの割合をランダムにマスキングする。
ImageNet-256x256 と ImageNet-512x512 の実験により,我々の手法は最先端の拡散変換器 (DiT) モデルよりも競争力があり,より優れた生成性能が得られることが示された。
論文 参考訳（メタデータ） (2023-06-15T17:38:48Z) - Exploring Discrete Diffusion Models for Image Captioning [104.69608826164216]
DDCapと呼ばれる拡散型キャプションモデルを提案する。
本稿では,ベストファースト推論,集中注意マスク,テキスト長予測,画像のないトレーニングなど,いくつかの重要な手法を提案する。
4Mビジョン言語による事前学習画像とベースサイズのモデルを用いて,COCO上のCIDErスコア125.1に達する。
論文 参考訳（メタデータ） (2022-11-21T18:12:53Z) - Training a Vision Transformer from scratch in less than 24 hours with 1
GPU [10.517362955718799]
限られたハードウェア(1GPU)と時間(24時間)のリソースで、スクラッチからViTモデルをトレーニングできるアルゴリズムの改良をいくつか導入する。
学習開始時に各画像から抽出したパッチ数を削減できる新しい画像サイズカリキュラム学習戦略を開発する。
最後に、ハードウェアと時間制約を追加することで、人気のあるImageNet1kベンチマークの新たな変種を提案する。
論文 参考訳（メタデータ） (2022-11-09T20:36:46Z) - BEiT: BERT Pre-Training of Image Transformers [43.704968112586876]
本稿では,画像変換器の双方向表現を表す自己教師型視覚表現モデルBEiTを紹介する。
具体的には、各画像には事前トレーニング、すなわち画像パッチと視覚トークンの2つのビューがある。
まず最初にオリジナル画像を視覚トークンに"トークン"します。次にランダムに画像パッチをマスクして、バックボーントランスフォーマーに入力します。
事前学習の目的は、破損した画像パッチに基づいて元の視覚トークンを復元することである。
論文 参考訳（メタデータ） (2021-06-15T16:02:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。