論文の概要: How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2607.21351v1
- Date: Thu, 23 Jul 2026 14:16:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.43073
- Title: How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning
- Title（参考訳）: アダプタが書けるビットはいくつあるか?パラメータ効率の良いファインチューニングのキャパシティとメモリ化の測定
- Abstract要約: LoRAアダプタは数メガバイトで、ほとんど誰もがその背後にあるデータのレコードを記憶するのではなく、スキルとして扱う。
私たちは、ビット単位で、低ランクのアダプタが変更しないモデルにどれだけ書き込むかを直接測定します。
- 参考スコア（独自算出の注目度）: 11.106301363360764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A LoRA adapter is a few megabytes that almost everyone treats as a skill rather than a record of the data behind it. We put that assumption on a scale. Extending compression-based memorization analysis to the frozen-base setting, we measure directly, in bits, how much a low-rank adapter writes into a model it never changes. The answer is both smaller than full fine-tuning and less lawful than parameter counting would predict. Adapters store a couple of bits per trainable parameter, well short of a full model's budget, but that figure turns less on how many parameters an adapter carries than on where they sit. Move the same parameter budget from attention into the MLP and it holds nearly twice as much; strip the frozen base of its structure and the capacity all but disappears. Applied to realistic fine-tunes of Qwen2.5, the same instrument shows privacy leakage rising with the bits an adapter writes rather than the parameters it nominally has, and it draws a clean line between supervised and reinforcement learning: the secrets that supervised fine-tuning copies down verbatim, an adapter trained on verifiable rewards never records. Measuring what fine-tuning writes, rather than attacking it after the fact, turns a piece of folklore into a quantity one can design against.
- Abstract（参考訳）: LoRAアダプタは数メガバイトで、ほとんど誰もがその裏にあるデータのレコードではなく、スキルとして扱う。
私たちはその仮定をスケールした。
圧縮ベースのメモリ化解析をフリーズベース設定に拡張し、直接、ビット単位で測定し、低ランクのアダプタが変更しないモデルにどれだけの量を書き込むかを測定します。
答えは完全な微調整よりも小さく、パラメータカウントが予測するよりも合法ではない。
アダプタはトレーニング可能なパラメータ毎に数ビットを格納するが、完全なモデルの予算には程遠い。
同じパラメータ予算をMLPに注意して移動させ、その2倍の容量を保持します。
Qwen2.5のリアルな微調整に応用すると、同じ器具は、名前のついたパラメータではなく、アダプタが書くビットでプライバシーの漏洩が上昇し、教師付き学習と強化学習の間に清潔な線を描いている。
微調整の書き物を測定することは、後から攻撃するのではなく、民間伝承をデザインできる量に変えます。
関連論文リスト
- Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning [47.97857843162072]
そこで本研究では,当初プルーニングのために開発されたサリエンシ信号が,モデルが適応すべき場所を選択するために再利用できるかどうかについて検討する。
我々は,小さなトレーニング可能なサポートを修正可能なスパースパラメータ効率細調整(PEFT)手法であるSuperを提案する。
次に、このスパースアップデートとLoRAを組み合わせたハイブリッドアダプタであるSupraを紹介します。
論文 参考訳（メタデータ） (2026-07-10T10:55:28Z) - Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。
ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。
本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
論文 参考訳（メタデータ） (2024-07-04T18:21:28Z) - Mini but Mighty: Finetuning ViTs with Mini Adapters [7.175668563148084]
アダプタの寸法が小さい場合、アダプタは性能が悪くなります。
この問題に対処するトレーニングフレームワークMiMiを提案する。
本手法は,精度と訓練されたパラメータの最良のトレードオフを見つける上で,既存の手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-07T10:41:27Z) - Tiny-Attention Adapter: Contexts Are More Important Than the Number of
Parameters [25.958600375299735]
Adapter-tuningは、トレーニング済みの言語モデルを、少数の新しいパラメータの追加とチューニングによって下流タスクに転送するパラダイムである。
本稿では, 極小アテンション, 極小アテンション・アテンション・アテンション・アテンション・アテンションをアダプタとして用いることの有効性について検討する。
私たちの小さなアテンションアダプタは、他のすべての位置にある隠された状態に直接条件付けられた各位置の隠された状態を変更することを学習します。
論文 参考訳（メタデータ） (2022-10-18T15:20:44Z) - SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency
of Adapters [96.52807311742198]
我々は、ネットワークプルーニングのレンズを通して、アダプタのパラメータ効率を再検討する。
スパース比が最大80%に達すると、SparseAdapterは標準のAdapterよりも同等あるいは優れたパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2022-10-09T15:28:48Z) - AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large
Language Models [119.7093605087114]
大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。
これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。
パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
論文 参考訳（メタデータ） (2022-05-24T23:41:22Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z) - Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。
本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。
これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
論文 参考訳（メタデータ） (2021-10-14T17:27:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。