論文の概要: PACT: NVFP4 Data-Flow LoRA Fine-Tuning on Consumer GPUs

• arxiv url: http://arxiv.org/abs/2610.25048v1
• Date: Sun, 18 Oct 2026 06:14:14 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:37:02.544011
• Title: PACT: NVFP4 Data-Flow LoRA Fine-Tuning on Consumer GPUs
• Title（参考訳）: PACT: NVFP4 Data-Flow LoRA Fine-Tuning on Consumer GPUs
• Abstract要約: 我々は,NVFP4 GEMMによる凍結投影を高速化するLORAファインチューニングシステムであるPACTを提案する。 量子化と分散化のオーバーヘッドを減らし、量子化エラーを制限し、リソース制約のあるコンシューマハードウェアへのモデル適応を可能にする。
• 参考スコア（独自算出の注目度）: 15.016110592820882
• License:
• Abstract: Fine-tuning language models on consumer GPUs is constrained by computation and memory. Although LoRA reduces trainable parameters and optimizer state, frozen projections remain expensive, and activations retained for backward can dominate memory usage. We present PACT, a LoRA fine-tuning system that accelerates frozen projections with native NVFP4 GEMMs while reducing quantization and dequantization overhead and limiting quantization error. To reduce activation memory, PACT reuses quantized RMSNorm outputs and saves gate/up activations in NVFP4 for backward. To limit numerical error, it preserves BF16 inputs for forward nonlinear operations and calibrates frozen weights offline using GPTQ adapted to NVFP4 scales and quantized activations. Fused nonlinear kernels and cached forward and backward weight layouts reduce quantization and dequantization overhead. Evaluations across multiple models and tasks on a 16\,GB RTX~5080 show lower memory usage and faster LoRA fine-tuning with competitive accuracy, enabling model adaptation on resource-constrained consumer hardware.
• Abstract（参考訳）: コンシューマGPU上の微調整言語モデルは、計算とメモリによって制約される。 LoRAはトレーニング可能なパラメータとオプティマイザ状態を削減するが、フリーズプロジェクションは高価であり、後方へのアクティベーションはメモリ使用量を支配している。 量子化および量子化オーバーヘッドを低減し,量子化誤差を制限するとともに,ネイティブなNVFP4 GEMMを用いて凍結プロジェクションを高速化するLoRAファインチューニングシステムであるPACTを提案する。 アクティベーションメモリを削減するため、PACTは量子化されたRMSNorm出力を再利用し、NVFP4のゲート/アップアクティベーションを後方に保存する。 数値誤差を制限するため、BF16入力をフォワード非線形操作に保存し、NVFP4スケールに適応したGPTQと量子化アクティベーションを使用して凍結重量をオフラインに校正する。 融合された非線形カーネルとキャッシュされた前方および後方のウェイトレイアウトにより、量子化と復号化のオーバーヘッドが軽減される。 16\,GB RTX~5080 の複数のモデルやタスクに対する評価は、メモリ使用量の削減と、競合する精度でLoRAの微調整を高速化し、リソース制約のあるコンシューマハードウェアへのモデル適応を可能にした。

関連論文リスト

• FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic [9.192731482247103]
  FP8のような低ビット浮動小数点(FP)フォーマットは、モデルトレーニングにおいて大きな加速とメモリ節約を提供する。 本稿では,ローランク適応(LoRA)計算経路から量子化オーバーヘッドを除去する新しいフレームワークであるFALQONを提案する。 FALQONは、同じレベルの精度で既存の量子化LoRA法よりも約3$times$のトレーニングスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-10-28T04:44:49Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• Fine-tuning Quantized Neural Networks with Zeroth-order Optimization [21.0540879091664]
  我々は、勾配推定のために連続量子化スケールを摂動する単純で効果的な方法である量子化ゼロ階最適化(QZO)を提案する。 QZOは4ビットLLMの合計メモリコストを18ドル以上削減でき、24GBのGPUでLlama-2-13Bを微調整できる。
  論文  参考訳（メタデータ） (2025-05-19T17:55:15Z)
• Efficient Fine-Tuning of Quantized Models via Adaptive Rank and Bitwidth [10.872650037112255]
  QLoRAは、低ビット量子化とLoRAを効果的に組み合わせて、大規模言語モデル(LLM)のためのメモリフレンドリーな微調整を実現する。 部分キャリブレーションデータを用いて、各層に対する量子化成分と低ランク空間のランクを共同で探索する、統一的かつ勾配のない戦略である textbfQR-Adaptor を提案する。 提案手法はGSM8Kに対して4.89%の精度向上を実現し、4ビット設定のメモリフットプリントを維持しつつ、16ビットの微調整モデルよりも優れるケースもある。
  論文  参考訳（メタデータ） (2025-05-02T08:46:01Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。 推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• Q-GaLore: Quantized GaLore with INT4 Projection and Layer-Adaptive Low-Rank Gradients [86.40635601953446]
  量子化と低ランク投影を組み合わせることでメモリ使用量を大幅に削減する新しい手法であるQ-Galoreを導入する。 本稿では,Q-Galoreがメモリ効率に優れた競合性能を実現することを実証する。
  論文  参考訳（メタデータ） (2024-07-11T08:42:58Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。