論文の概要: Fine-Tuning Low-Bit Models with Gradient in Quantized Code Space

• arxiv url: http://arxiv.org/abs/2608.30908v1
• Date: Mon, 31 Aug 2026 14:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.458254
• Title: Fine-Tuning Low-Bit Models with Gradient in Quantized Code Space
• Title（参考訳）: 量子化符号空間におけるグラディエントを有する微調整低ビットモデル
• Abstract要約: 微調整の低ビットモデルは、最終配置されたチェックポイントを同じ低ビット形式に保ちながら、量子化されたモデルを適用することを目的としている。 GradCodesは、異なる量子化データタイプにわたる微調整の低ビットモデルを一貫して改善する。
• 参考スコア（独自算出の注目度）: 78.05046281165885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning Low-bit models aims to adapt a quantized model while keeping the final deployed checkpoint in the same low-bit form. This setting is practically important as it reduces memory and inference cost for storage and deployment. Under this constraint, adaptation becomes an optimization problem over quantization codes and scales. Existing continuous low-bit training is efficient, but it can be distorted by straight through estimation error or by post-quantize gap; discrete search is deployment-faithful, but it is often too inefficient under a finite training budget. We propose code surrogate gradient as the first order signal in deployable code space to acceleate optimization, and performing guided search to preserve deployment faithfulness. Experiments across arithmetic reasoning, instruction following, and structured language understanding show that GradCodes consistently improves fine-tuning low-bit models across different quantization datatypes. Code is provided at https://github.com/ovo67/GradCodes.
• Abstract（参考訳）: 微調整の低ビットモデルは、最終配置されたチェックポイントを同じ低ビット形式に保ちながら、量子化されたモデルを適用することを目的としている。 この設定は、ストレージとデプロイメントのメモリと推論コストを削減するため、事実上重要である。 この制約の下では、適応は量子化符号やスケールに対する最適化問題となる。 既存の連続的な低ビットトレーニングは効率的であるが、推定誤差や時間差による歪曲が可能である;離散探索は配置に不適であるが、有限のトレーニング予算では非効率であることが多い。 我々は、最適化を加速するために、デプロイ可能なコード空間における最初の順序信号として、コードサロゲート勾配を提案し、デプロイメントの忠実性を維持するためのガイド付き探索を行う。 算術的推論、命令追従、構造化言語理解による実験では、GradCodesは異なる量子化データ型をまたいだ微調整の低ビットモデルを一貫して改善している。 コードはhttps://github.com/ovo67/GradCodesで提供されている。

関連論文リスト

• Dynamic Scaled Gradient Descent for Stable Fine-Tuning for Classifications [0.9174244628582179]
  本稿では,トレーニング例によって返される勾配を,特に動的スケーラを用いて,正しく分類された例の勾配をスケールダウンするアルゴリズムを提案する。 複数のタスクと大規模な事前訓練モデルにまたがる様々なベンチマークデータセットの実験により、我々の手法はパフォーマンスのばらつきを一貫して減らし、既存のアプローチの精度を上回ります。
  論文  参考訳（メタデータ） (2026-04-30T15:16:00Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• TruncQuant: Truncation-Ready Quantization for DNNs with Flexible Weight Bit Precision [8.532216260938478]
  トランケーションは、低ビット精度マッピングを実現するための効果的なアプローチである。 現在の量子化対応トレーニングスキームは、トランケーションプロセスのために設計されていない。 そこで我々はTruncQuantを提案する。TruncQuantは、実行時のビットシフトによるフレキシブルビット精度を実現する新しいトランケーション対応トレーニングスキームである。
  論文  参考訳（メタデータ） (2025-06-13T03:08:18Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [15.254107731735553]
  近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。 より正確で安全になるにつれて、ますます大きなものになってきています。 つまり、トレーニングはますますコストと時間がかかります。 トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
  論文  参考訳（メタデータ） (2023-08-28T23:08:15Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。