論文の概要: Compress Then Adapt? No, Do It Together via Task-aware Union of Subspaces

• arxiv url: http://arxiv.org/abs/2605.02829v1
• Date: Mon, 04 May 2026 17:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.423982
• Title: Compress Then Adapt? No, Do It Together via Task-aware Union of Subspaces
• Title（参考訳）: Compressが順応? いや、サブスペースのタスク認識で連携する
• Authors: Jingze Ge, Yun Liu, Xue Geng, Wanqi Dong, Wang Zhe Mark, Min Wu, Xulei Yang,
• Abstract要約: 圧縮と適応を統一するフレームワークであるJACTUSを紹介する。 視界では、JACTUSは平均89.2%の精度でViT-Baseに到達している。 言語では、JACTUSはLlama2-7B Commonsenseの平均80.9%を達成している。
• 参考スコア（独自算出の注目度）: 19.906572926925026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting large pretrained models to diverse tasks is now routine, yet the two dominant strategies of parameter-efficient fine-tuning (PEFT) and low-rank compression are typically composed in sequence. This decoupled practice first compresses and then fine-tunes adapters, potentially misaligning the compressed subspace with downstream objectives and squandering a global parameter budget. To overcome this limitation, we introduce JACTUS (Joint Adaptation and Compression with a Task-aware Union of Subspaces), a single framework that unifies compression and adaptation. From a small calibration set, JACTUS estimates input and pre-activation gradient covariances, forms their orthogonal union with the pretrained weight subspace, performs a projected low-rank approximation inside this union, allocates rank globally by marginal gain per parameter, and trains only a compact core matrix. This explicitly mitigates the potential misalignment between the compressed subspace and downstream objectives by coupling the directions preserved for compression with those required for adaptation, yielding a deployable low-rank model that avoids retaining full frozen weights while enabling fast and robust tuning. On vision, JACTUS attains an average 89.2% accuracy on ViT-Base across eight datasets at 80% retained parameters, surpassing strong 100% PEFT baselines (e.g., DoRA 87.9%). On language, JACTUS achieves an 80.9% average on Llama2-7B commonsense QA at the same 80% retained-parameter budget, outperforming 100% PEFT (e.g., DoRA 79.7%) and exceeding prior compress-then-finetune pipelines under the same ratained-parameter budget. We will release code.
• Abstract（参考訳）: 様々なタスクに大規模な事前学習モデルを適用することは、今では日常的であるが、パラメータ効率の微調整(PEFT)と低ランク圧縮の2つの主要な戦略は、典型的にはシーケンスで構成される。 この分離されたプラクティスは、まず圧縮し、次に微調整のアダプタで、圧縮されたサブスペースを下流の目的と誤調整し、グローバルなパラメータ予算を妨害する可能性がある。 この制限を克服するために,JACTUS (Joint Adaptation and Compression with a Task-aware Union of Subspaces) という,圧縮と適応を統一する単一のフレームワークを導入する。 小さいキャリブレーションセットから、JACTUSは入力とプレアクティベーション勾配の共分散を推定し、事前訓練された重み付き部分空間との直交結合を形成し、この結合内で投影された低ランク近似を実行し、パラメータごとの差分ゲインを世界中に割り当て、コンパクトコア行列のみを訓練する。 これは圧縮のために保存された方向と適応に必要な方向を結合することにより、圧縮された部分空間と下流の目的との潜在的な不一致を明示的に軽減し、高速でロバストなチューニングを可能にしながら、完全な凍結重量を維持することを避けるデプロイ可能な低ランクモデルをもたらす。 ビジョンでは、JACTUSは8つのデータセットで平均89.2%の精度を達成し、80%の保持パラメータで、100%PEFTベースライン(例:DoRA 87.9%)を超える。 言語では、JACTUSはLlama2-7BコモンセンスQAの80.9%の平均を80%の維持パラメータ予算で達成し、100%PEFT(例:DoRA 79.7%)を上回り、同じ放射パラメータ予算の下で前回の圧縮・精細パイプラインを上回っている。 コードをリリースします。

関連論文リスト

• SPQ: An Ensemble Technique for Large Language Model Compression [1.2891210250935148]
  SPQ(SVD-Pruning-Quantization)は,大規模言語モデルLLM圧縮のためのアンサンブル手法である。 最大75%のメモリ削減を実現し、パープレキシティを維持または改善する。 GPTQよりも推論を改善し、最大1.9倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-02-20T18:44:16Z)
• Separating Constraint Compliance from Semantic Accuracy: A Novel Benchmark for Evaluating Instruction-Following Under Compression [0.0]
  大規模言語モデル(LLM)は、即時圧縮の下で劣化した性能を示す。 制約コンプライアンス(CC)と意味精度(SA)を測定するベンチマークであるCompressionDecay Test(CDCT)を導入する。 制約コンプライアンス(97.2%の有病率)における普遍的なU曲線パターンを観察する。
  論文  参考訳（メタデータ） (2025-12-02T13:25:48Z)
• Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models [80.50996301430108]
  スパースチューニングは、下流タスクに最も関係のある重みだけを調整することで、顕著なパフォーマンスを達成する。 上述の制限を克服する一段法SNELLAを提案する。 SNELLAは低メモリ使用量でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2025-10-28T03:39:18Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Holistic Adversarially Robust Pruning [15.760568867982903]
  我々は、各層に固有のパラメータ(圧縮率)とどのパラメータ(装飾接続)を個別にプーンするかを最適化するグローバル圧縮戦略を学習する。 本手法は,異なる目的のバランスをとる段階的な漸進関数に従って,動的正則化を伴う既存モデルを微調整する。 学習した圧縮戦略により、トレーニング済みのモデルの自然な精度と、ネットワーク元のサイズの99%削減のための対角的ロバスト性を維持することができる。
  論文  参考訳（メタデータ） (2024-12-19T10:25:21Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Compressing Pre-trained Transformers via Low-Bit NxM Sparsity for Natural Language Understanding [20.75335227098455]
  大規模な事前学習型トランスフォーマーネットワークは、多くの自然言語理解タスクにおいて劇的に改善されている。 NM半構造スパーシリティと低精度整数計算の両方をサポートする新しいハードウェアは、モデル提供効率を高めるための有望な解決策である。 本研究では,同時スペーシフィケーションと量子化を行うフレキシブル圧縮フレームワークNxMiFormerを提案する。
  論文  参考訳（メタデータ） (2022-06-30T04:33:50Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。