論文の概要: Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

• arxiv url: http://arxiv.org/abs/2607.09287v1
• Date: Fri, 10 Jul 2026 10:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.832669
• Title: Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning
• Title（参考訳）: スーパーチューニング:アクティベーション・アウェア・プルーニングからスパースファイン・チューニングへ
• Abstract要約: そこで本研究では,当初プルーニングのために開発されたサリエンシ信号が,モデルが適応すべき場所を選択するために再利用できるかどうかについて検討する。 我々は,小さなトレーニング可能なサポートを修正可能なスパースパラメータ効率細調整(PEFT)手法であるSuperを提案する。 次に、このスパースアップデートとLoRAを組み合わせたハイブリッドアダプタであるSupraを紹介します。
• 参考スコア（独自算出の注目度）: 47.97857843162072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) remain expensive to fine-tune because full-parameter updates require substantial memory, compute, and per-task storage. We study whether saliency signals originally developed for pruning can be reused to choose where a model should adapt. We propose Super, a sparse parameter-efficient fine-tuning (PEFT) method that fixes a small trainable support using a Wanda-style activation-weighted magnitude score [Sun et al., 2023] computed from a calibration pass. We then introduce Supra, a hybrid adapter that combines this sparse update with LoRA while preserving a matched trainable-parameter budget through a simple budget-splitting rule. In single-seed Math17K arithmetic experiments on Llama-3.2-1B and Meta-Llama-3-8B, the best Super/Supra variants achieve the highest average accuracy among the tested schedule-selected adapter configurations. We also include a PaFi-style magnitude-only support as a closest training-free sparse baseline and find that low-score supports under both magnitude and Wanda-style orderings can be effective. These results suggest that simple pruning-inspired orderings can provide useful fixed sparse supports for PEFT, especially when combined with low-rank adapters.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、メモリ、計算、タスク単位のストレージを必要とするため、微調整には高価である。 そこで本研究では,当初プルーニングのために開発されたサリエンシ信号が,モデルが適応すべき場所を選択するために再利用できるかどうかについて検討する。 キャリブレーションパスから計算した Wanda 方式のアクティベーション重み度スコア [Sun et al , 2023] を用いて,小さなトレーニング可能なサポートを修正可能なスパースパラメータ効率細調整法である Super を提案する。 次に、このスパース更新をLoRAと組み合わせたハイブリッドアダプタであるSupraを紹介します。 Llama-3.2-1BとMeta-Llama-3-8BのシングルシードMath17K算術実験において、最も優れたSuper/Supra変種はテストされたスケジュール選択アダプタ構成の中で最高の平均精度を達成する。 また、トレーニング不要なスパースベースラインとしてPaFiスタイルのマグニチュードオンリーサポートも含み、低スコアサポートはマグニチュードとワンダスタイルのオーダリングの両方で有効であることを示す。 これらの結果から, 単純なプルーニングインスパイアされた順序付けは, 低ランクアダプタと組み合わせることで, PEFTの固定スパースサポートに有用であることが示唆された。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Rethinking Adapter Placement: A Dominant Adaptation Module Perspective [14.452224342067657]
  低ランク適応 (LoRA) は、低ランクアダプタを凍結事前訓練されたモデルに配置するパラメータ効率の良い微調整法である。 近年の研究では、LoRAアダプタの使用が減少し、パフォーマンスが向上する可能性があるが、既存の手法ではアダプタを広く配布している。 本研究では,DomLoRAを提案する。DomLoRAは1つのアダプタを主適応モジュールに配置する配置法である。
  論文  参考訳（メタデータ） (2026-05-07T13:01:00Z)
• Sparsity-Aware Low-Rank Representation for Efficient Fine-Tuning of Large Language Models [19.288371639304504]
  低ランク適応(LoRA)は、重み付けを分解することでトレーニング可能なパラメータを減らすが、基礎となる重み付けは高いストレージと計算コストを課す。 Sparsity-Aware Low-Rank Representationは,スパースプルーニングによる低ランク適応を統一する新しい微調整パラダイムである。
  論文  参考訳（メタデータ） (2026-01-08T20:34:12Z)
• FLoRA: Fused forward-backward adapters for parameter efficient fine-tuning and reducing inference-time latencies of LLMs [7.771813594229729]
  本稿では,大規模言語モデル (LLM) を下流タスクでパラメータ効率の良い微調整を行うために,FFBA (Fused forward-backward Adapter) のファミリを提案する。 実験結果から,提案するFFBアダプタの精度とレイテンシの両面で,一般的なLoRAよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2025-10-28T12:45:45Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
  事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。 ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。 本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
  論文  参考訳（メタデータ） (2024-07-04T18:21:28Z)
• RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation [30.797422827190278]
  本稿ではロバスト適応法 (RoSA) と呼ばれる新しいPEFT法を提案する。 RoSAは、固定された事前トレーニングされた重みのセットの上に、$textitlow-rank$と$textithighly-sparse$コンポーネントをトレーニングする。 また,RoSAがLoRA,純スパース微調整,代替ハイブリット法を同じパラメータ予算で上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-09T17:09:01Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。