論文の概要: Direction or Magnitude? Learning Scalars over Task-Calibrated Directions
- arxiv url: http://arxiv.org/abs/2611.17784v1
- Date: Fri, 13 Nov 2026 05:55:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.313128
- Title: Direction or Magnitude? Learning Scalars over Task-Calibrated Directions
- Title(参考訳): 方向性とマグニチュード : タスクキャリブレーションによるスカラー学習
- Abstract要約: PEFT(Computer- efficient fine-tuning)は、トレーニングコストを削減しつつ適応品質を維持することを目的としている。
トレーニング可能なパラメータが大幅に少なく,ピークトレーニングメモリが低く,スループットが向上した,LoRAに匹敵するパフォーマンスを実現するSCALARを提案する。
- 参考スコア(独自算出の注目度): 54.59274620221401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) aims to preserve adaptation quality while reducing training costs. We propose SCALAR, which achieves performance comparable to LoRA with substantially fewer trainable parameters, lower peak training memory, and higher throughput. SCALAR constructs a fixed input basis from task activations and assigns a random output dictionary to each input direction. Fine-tuning learns only layer-specific scalar coefficients, reducing gradient and optimizer-state storage. Grouped computation aggregates output atoms before applying the adapter to token activations, while dictionary sharing across compatible layers reduces fixed-basis storage. Experiments on commonsense reasoning, mathematical reasoning, code generation, and knowledge evaluation after instruction tuning demonstrate effective adaptation at small trainable budgets. On commonsense reasoning, SCALAR achieves accuracy comparable to LoRA with about 4% of its trainable parameters. System measurements on Qwen2.5-7B show 20% lower peak training memory and 6% higher throughput than LoRA. The combination of adaptation quality, a compact trainable state, and training efficiency makes SCALAR a promising approach to resource-constrained fine-tuning.
- Abstract(参考訳): パラメータ効率のよい微調整(PEFT)は、トレーニングコストを削減しつつ適応品質を維持することを目的としている。
トレーニング可能なパラメータが大幅に少なく,ピークトレーニングメモリが低く,スループットが向上した,LoRAに匹敵するパフォーマンスを実現するSCALARを提案する。
SCALARはタスクアクティベーションから固定された入力ベースを構築し、ランダムな出力辞書を各入力方向に割り当てる。
ファインチューニングは、層固有のスカラー係数のみを学習し、勾配を減らし、状態記憶を最適化する。
グループ計算は、トークンのアクティベーションにアダプタを適用する前に出力原子を集約するが、互換層間での辞書共有は固定基底ストレージを減らす。
指導訓練後のコモンセンス推論、数学的推論、コード生成、知識評価の実験は、小さな訓練可能な予算で効果的に適応できることを示した。
常識推論では、SCALARはトレーニング可能なパラメータの約4%でLoRAに匹敵する精度を達成する。
Qwen2.5-7Bのシステム測定では、LoRAよりも20%低いピークトレーニングメモリと6%高いスループットを示している。
適応品質、訓練可能なコンパクトな状態、訓練効率の組み合わせにより、SCALARはリソース制約された微調整への有望なアプローチとなる。
関連論文リスト
- Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention [68.95190550625229]
微調整された異なるトランスフォーマー層は、異なるターゲットタスクゲインと能力劣化の度合いを生成する。
入力出力が低い層にのみトレーニング可能なLoRAアダプタを配置するLayer-Selective LoRA(LS-LoRA)を提案する。
論文 参考訳(メタデータ) (2026-10-08T09:59:16Z) - Learning When to Adapt [29.665123668818378]
低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられている。
DiseLはLoRAモジュールを、個々のランク1コンポーネントに軽量な入力依存ゲートで拡張する。
DiseLは少数のパラメータのみを追加し、ローランク構造を保存する。
論文 参考訳(メタデータ) (2026-05-18T18:51:24Z) - Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models [0.2939891130492345]
低ランク適応(LoRA)と量子化LoRA(Quantized LoRA)は、人間の活動認識のためのフルモデル微調整に代わるスケーラブルな代替手段として検討されている。
LoRAは限られた監督下でも堅牢な性能を維持している。
QLoRAは、量子化によって凍結重量のメモリフットプリントを削減することで、これらの利点を拡張している。
論文 参考訳(メタデータ) (2025-12-19T14:12:43Z) - IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation [56.72132739364876]
隠れた空間の情報を明示的に保存する特徴認識型プロジェクションフレームワークであるIPAを提案する。
IPAはLoRAとDoRAを一貫して改善し、平均1.5ポイントの精度でコモンセンス推論を行う。
論文 参考訳(メタデータ) (2025-09-04T17:10:01Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳(メタデータ) (2024-07-10T10:22:35Z) - SLTrain: a sparse plus low-rank approach for parameter and memory efficient pretraining [39.56934385513862]
大規模言語モデル(LLM)をゼロから訓練するには、計算能力と広範なメモリ容量が必要である。
最近の研究では、パラメータとメモリの点で効率的な微調整のための重量の低ランク構造を探索している。
本稿では,SLTrain と呼ばれる事前学習用低ランク行列とスパース行列の和として重みをパラメータ化することを提案する。
論文 参考訳(メタデータ) (2024-06-04T11:14:21Z) - WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models [8.481707805559589]
WeGeFT(Weight-Generative Fine-Tuning)は、トレーニング済みの重みから直接微調整重みを生成することを学習する新しい手法である。
この設計は、パラメータ、表現、計算、メモリの多面的効率を実現し、LoRAとその変種の性能を維持したり、超えたりしている。
論文 参考訳(メタデータ) (2023-12-01T16:33:57Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2022-06-20T15:25:08Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。