論文の概要: FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models

• arxiv url: http://arxiv.org/abs/2607.05711v1
• Date: Tue, 07 Jul 2026 00:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.355458
• Title: FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models
• Title（参考訳）: FourTune: 拡散モデルのための完全4ビット後のトレーニング
• Abstract要約: FourTuneは、エンドツーエンドのW4A4G4パラダイムに基づいた拡散モデルのための効率的な後トレーニングフレームワークである。 FourTuneはメモリオーバーヘッドを2.25$times$に減らし、エンドツーエンドのトレーニングスループットをBF16 LoRAと比較して2.27$times$にする。
• 参考スコア（独自算出の注目度）: 50.66675248468456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have become a dominant paradigm for high-quality generative modeling, while post-training is essential for adapting them to diverse downstream applications. However, post-training of large diffusion models is still challenging due to the prohibitive memory footprints and slow training speed, which existing parameter-efficient fine-tuning methods only partially address. To overcome these limitations, we propose FourTune, an efficient post-training framework for diffusion models based on an end-to-end W4A4G4 paradigm. FourTune introduces a triple-branch hybrid pipeline that augments the standard LoRA architecture with a frozen numerical stabilizer to isolate quantization-sensitive outliers, enabling stable training under native 4-bit computation. In addition, FourTune employs hardware-efficient block-wise quantization and customized fused kernels to support efficient quantized backpropagation and reduce memory bandwidth overhead. Across customization, reinforcement learning, and distillation tasks, FourTune matches the quality of full-precision fine-tuning. On FLUX.1-dev (12B), FourTune reduces memory overhead by 2.25$\times$ and increases end-to-end training throughput by 2.27$\times$ compared to BF16 LoRA.
• Abstract（参考訳）: 拡散モデルは高品質な生成モデルにおいて支配的なパラダイムとなり、ポストトレーニングは下流の様々なアプリケーションに適用するために不可欠である。 しかし、メモリフットプリントが禁止され、既存のパラメータ効率の良い微調整法が部分的にしか対処していないため、大規模な拡散モデルのポストトレーニングは依然として困難である。 これらの制約を克服するために,エンドツーエンドのW4A4G4パラダイムに基づく拡散モデルのための効率的な後学習フレームワークであるFourTuneを提案する。 FourTuneは、標準的なLoRAアーキテクチャを凍結数値安定化器で強化し、量子化に敏感なアウトリアを分離する3分岐ハイブリッドパイプラインを導入し、ネイティブな4ビット計算下で安定したトレーニングを可能にする。 さらに、FourTuneはハードウェア効率のよいブロック単位の量子化と融合カーネルを使用して、効率的な量子化バックプロパゲーションをサポートし、メモリ帯域幅のオーバーヘッドを低減する。 カスタマイズ、強化学習、蒸留作業全般において、FourTuneは精度の高い微調整の質と一致している。 FLUX.1-dev (12B)では、FourTuneはメモリオーバーヘッドを2.25$\times$に減らし、エンドツーエンドのトレーニングスループットをBF16 LoRAと比較して2.27$\times$にする。

関連論文リスト

• Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention [34.07319488267708]
  最近のNVFP4事前学習法は主に変圧器線形層を対象としており、4ビットパイプラインで探索された計算状態、算術的および注意点を残している。 この臨界ギャップは、3つのコアモジュールがユニークな数値的な故障パターンを示すため、安定なフルスタック4ビットプリトレーニングをブロックする。 3つの安定性ボトルネックをすべて解決した最初の完全NVFP4事前学習フレームワークであるFull-Stack FP4を提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:31:36Z)
• FP4 Explore, BF16 Train: Diffusion Reinforcement Learning via Efficient Rollout Scaling [38.64059734487925]
  強化学習に基づくポストトレーニングは、テキストと画像の拡散モデルと人間の嗜好を整合させるための有望なパラダイムとして現れてきた。 大規模基礎拡散モデル(FLUX.1-12Bなど)のスケールアウトは、計算負荷が大きい。 本稿では,新しいFP4を用いた2段階強化学習フレームワークであるSol-RLを提案する。
  論文  参考訳（メタデータ） (2026-04-08T10:14:47Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models [5.320690460117234]
  HQ-DMは、活性化行列に単一アダマール変換を適用する新しい量子化対応トレーニングフレームワークである。 このアプローチは、量子化下でのモデル性能を維持しながら、アクティベーションアウトリーを効果的に削減する。 LDM-4モデルを用いたImageNet 256x256データセットの条件生成のために、我々のW4A4およびW4A3量子化スキームは、それぞれインセプションスコアを12.8%改善し、467.73%改善した。
  論文  参考訳（メタデータ） (2025-12-05T14:28:40Z)
• Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling [13.357423392911036]
  NVFP4量子化アルゴリズムを改良したFour Over Six (4/6)を導入する。 いくつかのブロックに対して、より小さなFP4値へのスケーリングは、表現可能な値の分布をより均一にする。 また,4/6は,多くの学習後量子化手法に容易に組み込むことができ,一般に下流の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2025-12-01T18:59:45Z)
• Pretraining Large Language Models with NVFP4 [53.235038214986865]
  我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。 本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。 以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T17:53:17Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。