論文の概要: CoSA: Compressed Sensing-Based Adaptation of Large Language Models

• arxiv url: http://arxiv.org/abs/2602.05148v1
• Date: Thu, 05 Feb 2026 00:11:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.677755
• Title: CoSA: Compressed Sensing-Based Adaptation of Large Language Models
• Title（参考訳）: CoSA: 大規模言語モデルの圧縮センシングに基づく適応
• Authors: Songtao Wei, Yi Li, Bohan Zhang, Zhichun Guo, Ying Huang, Yuede Ji, Miao Yin, Guanpeng Li, Bingzhe Li,
• Abstract要約: CoSA(Compressed Sensing-Based Adaptation)は、圧縮センシング理論から拡張された新しいPEFT法である。 我々は、CoSAが効率的かつ表現力のあるマルチスケールモデル適応のための原則的な視点を提供することを示す。 我々は,RoBERTa,Llama,Qwenファミリーと異なるスケールの5つのモデルを用いて,自然言語理解・生成を含む10種類のタスクでCoSAを評価した。
• 参考スコア（独自算出の注目度）: 21.688889188355645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) has emerged as a practical paradigm for adapting large language models (LLMs) without updating all parameters. Most existing approaches, such as LoRA and PiSSA, rely on low-rank decompositions of weight updates. However, the low-rank assumption may restrict expressivity, particularly in task-specific adaptation scenarios where singular values are distributed relatively uniformly. To address this limitation, we propose CoSA (Compressed Sensing-Based Adaptation), a new PEFT method extended from compressed sensing theory. Instead of constraining weight updates to a low-rank subspace, CoSA expresses them through fixed random projection matrices and a compact learnable core. We provide a formal theoretical analysis of CoSA as a synthesis process, proving that weight updates can be compactly encoded into a low-dimensional space and mapped back through random projections. Extensive experimental results show that CoSA provides a principled perspective for efficient and expressive multi-scale model adaptation. Specifically, we evaluate CoSA on 10 diverse tasks, including natural language understanding and generation, employing 5 models of different scales from RoBERTa, Llama, and Qwen families. Across these settings, CoSA consistently matches or outperforms state-of-the-art PEFT methods.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は,すべてのパラメータを更新することなく,大規模言語モデル(LLM)を適応するための実践パラダイムとして登場した。 LoRAやPiSSAといった既存のアプローチは、ウェイトアップデートの低ランクな分解に依存している。 しかし、低ランクの仮定は、特に特異値が比較的均一に分布するタスク固有の適応シナリオにおいて、表現性を制限する可能性がある。 この制限に対処するため、圧縮センシング理論から拡張された新しいPEFT法であるCoSA(Compressed Sensing-Based Adaptation)を提案する。 低ランク部分空間への重み更新を制限する代わりに、CoSAはそれらを固定されたランダムな射影行列とコンパクトな学習可能なコアを通して表現する。 我々は、CoSAを合成過程として公式な理論的解析を行い、重み付けを低次元空間にコンパクトに符号化し、ランダムな投影を通してマッピングできることを証明した。 大規模な実験結果から,CoSAは効率的かつ表現力のあるマルチスケールモデル適応のための原則的視点を提供することが示された。 具体的には,RoBERTa,Llama,Qwenファミリーと異なるスケールの5つのモデルを用いて,自然言語理解と生成を含む10種類のタスクでCoSAを評価した。 これらの設定全体において、CoSAは一貫して最先端のPEFTメソッドに適合または性能を向上する。

関連論文リスト

• GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers [12.475144734899674]
  我々は,選択したレイヤのD次元トークン表現をKDグループに分割する軽量PEFTフレームワークGRASPを紹介し,各グループに対して共有スケーリングおよびシフトベクトルを学習する。 決定論的値ではなく,事前学習した重みに対する摂動としてガウス分布を学習するStochGRASPを提案する。 様々なノイズレベルの下で、StochGRASPは決定論的変異を一貫して上回り、エネルギー効率とノイズを発生させるハードウェアプラットフォームに適していることを示した。
  論文  参考訳（メタデータ） (2025-12-03T22:17:05Z)
• TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning [83.93651411533533]
  4つのキー特性を持つTucker Adaptation(TuckA)を導入する。 我々は,ルータのパラメータサイズを$L$の係数で削減する,効率的なバッチレベルルーティング機構を開発した。 自然言語理解、画像分類、数学的推論におけるベンチマーク実験は、TuckAの有効性を物語っている。
  論文  参考訳（メタデータ） (2025-11-10T09:03:16Z)
• MAP: Revisiting Weight Decomposition for Low-Rank Adaptation [50.71088247281515]
  本稿では,重みベクトルを高次元ベクトルとして再構成する新しいフレームワークMAPを提案する。 MAPはトレーニング済みの重量を正規化し、方向の更新と2つのスカラー係数を学習し、ベースの大きさを独立にスケールし、ベクトルを更新する。 この設計により、より解釈可能で柔軟な適応が可能となり、既存のPEFTメソッドにシームレスに統合できる。
  論文  参考訳（メタデータ） (2025-05-29T04:56:35Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization [27.79783067245817]
  大規模言語モデル(LLM)は、高いメモリ要求と計算コストのため、微調整とデプロイメントの課題に直面している。 本稿では,PEFT と量子化 LLM の利点を組み合わせた簡易かつ効果的な手法である PEQA (Efficient Adaptation and Quantization-aware) を提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。