論文の概要: AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning

• arxiv url: http://arxiv.org/abs/2510.05468v1
• Date: Tue, 07 Oct 2025 00:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.034122
• Title: AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning
• Title（参考訳）: AMAQ: 協調パラメータ効率的なファインチューニングのための適応混合ビット活性化量子化
• Authors: Yurun Song, Zhuoyi Yang, Ian G. Harris, Sangeetha Abdu Jyothi,
• Abstract要約: 協調学習における通信オーバーヘッドを低減するために,適応混合ビット活性化量子化(AMAQ)を導入する。 AMAQは、高い精度(6ビットから8ビット)から低い精度(3ビットから4ビット)までのアクティベーションと勾配を圧縮する 同じビット予算の下で、AMAQは固定精度のアプローチより優れ、約2.5%高い生成精度と約1.3%より良い分類精度を提供する。
• 参考スコア（独自算出の注目度）: 7.46409091526834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are scaling rapidly, creating significant challenges for collaborative server client distributed training, particularly in terms of communication efficiency and computational overheads. To address these challenges, we implement Parameter-efficient Split Learning, which effectively balances efficiency and performance for collaborative training on low-resource devices. To reduce communication overhead in collaborative training, we introduce Adaptive Mixed bit Activation Quantization (AMAQ), a strategy that progressively compresses activations and gradients from high precision (6 to 8 bits) to low precision (3 to 4 bits). AMAQ achieves this by effectively allocating bit budgets across channels based on feature wise and layer wise importance using bit regularization. Under the same bit budgets, AMAQ outperforms fixed-precision approaches, delivering about 2.5% higher generation accuracy and about 1.3% better classification accuracy for models like LLaMA3 8B and Qwen2.5 7B. In addition, it significantly enhances training stability and reducing ultra-low bit representation collapse during the training. Experiments demonstrate that AMAQ integrates effectively into practical multi-machine collaborative training setups, offering superior inference accuracy with only a modest communication overhead for bits adaptation during training. This trade off makes AMAQ a practical and effective solution for collaborative training with minimal communication cost.
• Abstract（参考訳）: 大規模言語モデル(LLM)は急速にスケールしており、特に通信効率と計算オーバーヘッドの観点から、協調的なサーバクライアント分散トレーニングにおいて大きな課題を生み出しています。 これらの課題に対処するため,低リソースデバイス上での協調学習において,効率と性能を効果的にバランスさせるパラメータ効率のよいスプリットラーニングを実装した。 AMAQ(Adaptive Mixed Bit Activation Quantization)は,高精度(6ビットから8ビット)から低精度(3ビットから4ビット)までのアクティベーションと勾配を段階的に圧縮する手法である。 AMAQは、ビット正規化を用いて、機能ワイドと層ワイドの重要度に基づいて、チャンネル間のビット予算を効果的に割り当てることにより、これを実現する。 同じビット予算の下で、AMAQは固定精度のアプローチより優れており、LLaMA3 8BやQwen2.5 7Bのようなモデルの約2.5%高い生成精度と約1.3%の分類精度を提供する。 さらに、トレーニングの安定性を著しく向上し、トレーニング中の超低ビット表現の崩壊を低減する。 実験により、AMAQは実運用のマルチマシン協調訓練装置に効果的に統合され、トレーニング中のビット適応のためのモデム通信オーバーヘッドのみに優れた推論精度を提供することが示された。 このトレードオフにより、AMAQは最小の通信コストで協調トレーニングを行うための実用的で効果的なソリューションとなる。

関連論文リスト

• MSQ: Memory-Efficient Bit Sparsification Quantization [11.510434574824213]
  混合精度量子化は効率と精度のバランスが優れているため、広く好まれる。 メモリ効率の良いビットスカラー化量子化(MSQ)を提案する。 MSQは、トレーニング可能なパラメータの最大8.00倍の削減、トレーニング時間の最大86%の削減を実現している。
  論文  参考訳（メタデータ） (2025-07-30T03:21:29Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。