Fine-Tuning Low-Bit Models with Gradient in Quantized Code Space
Abstractの概要
本論文では、適応後のモデルがデプロイ時にも同じ量子化フォーマットを維持する必要がある、厳密な完全低ビットファインチューニングを研究しており、最適化は連続的な重み空間ではなく量子化コードおよびスケール上で行われます。著者らはGradCodeSを提案し、幾何学的構造を考慮したコード代理勾配を構築して、有効な低ビット候補に対する離散的な「案内・サンプリング・評価・選択」探索を誘導します。この手法は提案の構築と更新の受け入れを分離しており、勾配は探索領域の形成に用いる一方、受け入れられる状態はデプロイ可能な低ビットチェックポイントの実際の損失のみに基づいて選択されます。実験ではQwen3-0.6BおよびLlama-3.2 1B/3Bモデルを用い、算術推論、指示追従、構造化意味解析を対象に、複数の4ビットベースラインと量子化データ型で評価を行っています。
新規性
主な新規性は、通常の重み勾配の再利用や純粋なゼロ次探索に依存するのではなく、量子化コード空間内で直接定義された一次最適化シグナルにあります。また、このコード空間代理勾配をデプロイに忠実な離散候補選択と組み合わせ、代理勾配を最急降下法や1ステップのコード更新に関連付ける局所的な理論的結果も提供しています。
成果
報告されたタスクおよびバックボーン全体において、GradCodeSは最強の完全4ビット手法であり、直接的な4ビット量子化やPV-Tuning、QuZO、QZO、QESなどの他の完全低ビットベースラインを一貫して上回りました。さらに、本手法はNF4、INT4、MXFP4にわたって堅牢性を示し、その誘導型サンプラーは同じ予算下でガウス探索、1ホップ探索、通常の重み勾配誘導サンプリングよりも高い候補選択確率を達成しています。
論文の注目点
- GradCodeSは量子化コードとスケールを直接最適化することで、訓練済み状態とデプロイされるチェックポイント間の不整合を回避し、デプロイに忠実な低ビットファインチューニングを実現します。
- その中核となる技術的アイデアは、コードブックのギャップやグループスケールなどの量子化ジオメトリを考慮したコード代理勾配であり、このシグナルを用いて離散候補探索を誘導します。
- 実証的に、本手法は推論、指示追従、構造化予測のベンチマークにおいて報告された中で最良の完全4ビット結果を達成し、候補探索効率を向上させるとともに複数の量子化データ型との互換性を維持しています。