論文の概要: Compressing Sine-Activated Low-Rank Adapters through Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2505.21895v1
• Date: Wed, 28 May 2025 02:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.369767
• Title: Compressing Sine-Activated Low-Rank Adapters through Post-Training Quantization
• Title（参考訳）: 後処理量子化によるSine-Activated Low-Rank Adaptersの圧縮
• Authors: Cameron Gordon, Yiping Ji, Hemanth Saratchandran, Paul Albert, Simon Lucey,
• Abstract要約: Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整の標準手法となっている。 正弦波変換フレームワークを量子化LoRAアダプタに拡張する。
• 参考スコア（独自算出の注目度）: 25.441086332799348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has become a standard approach for parameter-efficient fine-tuning, offering substantial reductions in trainable parameters by modeling updates as the product of two low-rank matrices. While effective, the low-rank constraint inherently limits representational capacity, often resulting in reduced performance compared to full-rank fine-tuning. Recent work by Ji et al. (2025) has addressed this limitation by applying a fixed-frequency sinusoidal transformation to low-rank adapters, increasing their stable rank without introducing additional parameters. This raises a crucial question: can the same sine-activated technique be successfully applied within the context of Post-Training Quantization to retain benefits even after model compression? In this paper, we investigate this question by extending the sinusoidal transformation framework to quantized LoRA adapters. We develop a theoretical analysis showing that the stable rank of a quantized adapter is tightly linked to that of its full-precision counterpart, motivating the use of such rank-enhancing functions even under quantization. Our results demonstrate that the expressivity gains from a sinusoidal non-linearity persist after quantization, yielding highly compressed adapters with negligible loss in performance. We validate our approach across a range of fine-tuning tasks for language, vision and text-to-image generation achieving significant memory savings while maintaining competitive accuracy.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整の標準手法となり、2つの低ランク行列の積として更新をモデル化することでトレーニング可能なパラメータを大幅に削減した。 低ランクの制約は本質的に表現能力を制限するものであり、フルランクの微調整に比べて性能が低下する。 Ji et al (2025) による最近の研究は、低ランクアダプターに固定周波数正弦波変換を適用し、追加パラメータを導入することなく安定なランクを上昇させることによって、この制限に対処している。 モデル圧縮後も利益を維持するために、同じ正弦活性化のテクニックをポストトレーニング量子化の文脈でうまく適用できるだろうか? 本稿では,正弦波変換フレームワークを量子化LoRAアダプタに拡張することにより,この問題を考察する。 量子化アダプタの安定な階数は、その完全精度の階数と密接に関連していることを示し、量子化の下でもそのような階数エンハンシング関数の使用を動機付けている。 その結果, 量子化後の正弦波非直線性による表現性向上が持続していることが示され, 高い圧縮されたアダプタが性能を損なうことが示唆された。 我々は,言語,ビジョン,テキスト・ツー・イメージ生成のための様々な微調整タスクに対するアプローチを検証し,競争精度を維持しつつ,メモリの大幅な節約を実現した。

関連論文リスト

• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Efficient Learning With Sine-Activated Low-rank Matrices [25.12262017296922]
  低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。 提案手法は,視覚変換器(ViT),Large Language Models(LLMs),NeRF(Neural Radiance Fields),および3次元形状モデリング(3D shape modelling)において,既存の低ランクモデルに対するプラグインとして証明されている。
  論文  参考訳（メタデータ） (2024-03-28T08:58:20Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers [53.85087932591237]
  NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。 理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。 NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-11-29T10:02:09Z)
• Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks [82.18396309806577]
  動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。 DDTBは超低精度で優れた性能を示した。 例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
  論文  参考訳（メタデータ） (2022-03-08T04:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。