論文の概要: AQLoRA: A Zero-Search Recipe for Fast Quantized LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.23816v1
• Date: Mon, 24 Aug 2026 20:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.581248
• Title: AQLoRA: A Zero-Search Recipe for Fast Quantized LoRA Fine-Tuning
• Title（参考訳）: AQLoRA: 高速量子化LoRAファインチューニングのためのゼロサーチレシピ
• Abstract要約: 量子微調整(QLoRA)はメモリを節約するが、時間はない。 重量は4ビットで、fp16 LoRAより遅い。 私たちはAQLoRA(Adaptive-Quantization LoRA)を紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantized fine-tuning (QLoRA) saves memory but not time. It dequantizes every 4-bit weight on the fly, so it trains more slowly than fp16 LoRA. We present AQLoRA (Adaptive-Quantization LoRA), a recipe that buys part of that time back. One CPU pass over the weights sets everything, with no search and no calibration data. The pass ranks layers by NF4 reconstruction error and keeps the top-K in fp16 under a memory budget. Those layers skip dequantization, which is where the speed comes from. A quality setting adapts every layer. A speed setting adapts only the top blocks, so the backward pass stops early. The rule reproduces Unsloth's hand-curated dynamic-4bit selection exactly, in seconds, where search-based allocation needs repeated calibration passes. We evaluate on Commonsense-170K across six models and four architecture families, from 1.4B to 14B. The speed setting trains 11.1 +/- 2.7% faster than well-tuned QLoRA and gives up about one accuracy point. It was faster in all nine independent timing sessions, at worst by 7%. The quality setting trains 4.8 +/- 2.4% faster. Its accuracy is level with QLoRA on every model and within a point of fp16 LoRA, for 0.2 GiB more memory. These error bars are measured between independent sessions, not within one. Earning them taught us three rules for timing on shared hardware. Fix the measurement duration, not the step count. Measure the noise floor from a duplicated arm, not a nearly identical method. Repeat whole sessions: a floor computed inside one sweep understates the real uncertainty several times over, and the random seed controls almost none of it. We validate the recipe with controls and report the two that failed. Choosing adapter layers by weight density is no better than random. Choosing protected layers by quantization error is not either. The count of protected layers, not their identity, carries the speed effect.
• Abstract（参考訳）: 量子微調整(QLoRA)はメモリを節約するが、時間はない。 重量は4ビットで、fp16 LoRAより遅い。 私たちはAQLoRA(Adaptive-Quantization LoRA)を紹介します。 1つのCPUが重みを通り過ぎ、検索もキャリブレーションデータもなく、すべてが設定される。 パスはNF4再構成エラーによって階層をランク付けし、トップKをfp16のメモリ予算で保持する。 これらのレイヤはdequantizationをスキップします。 品質設定はすべての層に適合する。 速度設定はトップブロックのみに適応するため、後方通過は早期に停止する。 このルールはUnslothの手作業による動的4ビット選択を数秒で正確に再現する。 1.4Bから14Bまでの6つのモデルと4つのアーキテクチャファミリを対象としたCommonsense-170Kの評価を行った。 速度設定列車は、よく調整されたQLoRAより1.1+/-2.7%速く、精度は1ポイント程度である。 9つの独立したタイミングセッションのすべてで、最悪は7%の速さでした。 品質設定は4.8+/-2.4%高速化。 精度は、各モデルおよびfp16 LoRAのポイント内において、0.2GB以上のメモリでQLoRAと同等である。 これらのエラーバーは1つ以内ではなく、独立したセッション間で測定される。 それらは、共有ハードウェアのタイミングに関する3つのルールを教えてくれた。 ステップカウントではなく、測定期間を固定する。 ほぼ同一の手法ではなく、重複したアームからノイズフロアを計測する。 セッション全体を繰り返す:1つのスイープ内で計算されたフロアは、実際の不確実性を何回か繰り返し説明し、ランダムなシードがほとんど制御しない。 レシピをコントロールで検証し、失敗した2つを報告します。 アダプタ層を重量密度で選択することは、ランダムに他ならない。 量子化エラーによる保護層の選択もそうではない。 保護されたレイヤの数は、そのアイデンティティではなく、スピード効果をもたらす。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
  この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。 我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。 すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
  論文  参考訳（メタデータ） (2026-08-09T20:53:47Z)
• Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents [19.600181756177303]
  密度とMoEの2つのモデルファミリの2ドルベンチでは、量子化は標準メートル法では自由に見える。 量子化は、モデルが既に示す失敗を最大2.5$times$の完全精度で増幅する。 目標とするエラー修正プロンプトは、正確度毎に5つの通信モデルで実行される。
  論文  参考訳（メタデータ） (2026-07-29T12:40:04Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
  可変ビット幅量子化(VBQ)を導入する。 64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。 バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
  論文  参考訳（メタデータ） (2026-07-03T02:42:04Z)
• Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning [6.491055956716639]
  事前訓練された言語モデルを新しいタスクに適用することは、しばしば、既に持っている一般的な能力を損なう。 スパースメモリ微細化(Sparse Memory Finetuning)は、モデルにキーバリューメモリ層を追加することでこれを回避しようとする。 我々はQwen-2.5-0.5B-InstructでSMFを再実装し、LoRAと比較し、MedMCQAで完全な微調整を行う。
  論文  参考訳（メタデータ） (2026-05-04T23:46:40Z)
• Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth [0.0]
  Unsloth上で3.5倍のスピードアップを実現したオープンソースのトレーニングフレームワークであるCentralsを紹介します。 オンラインのソフトマックスの正しさ、FlashAttention IO complexity O(N2 d2 M-1)、LoRA+学習速度勾配近似など、完全な数学的基礎を提供する。
  論文  参考訳（メタデータ） (2026-01-06T00:00:55Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• SparseLoRA: Accelerating LLM Fine-Tuning with Contextual Sparsity [52.88892280536302]
  SparseLoRAは,コンテキスト空間の空間的分散によって微調整を高速化する手法である。 SparseLoRAは計算コストを最大2.2倍、測定速度を最大1.6倍に削減する。
  論文  参考訳（メタデータ） (2025-06-19T17:53:34Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
  我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する 最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。