論文の概要: The Behavioral Rate of Fine-Tuning: Compression as a Measure of Useful Information
- arxiv url: http://arxiv.org/abs/2611.06598v1
- Date: Wed, 04 Nov 2026 14:52:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.141953
- Title: The Behavioral Rate of Fine-Tuning: Compression as a Measure of Useful Information
- Title(参考訳): ファインチューニングの行動速度:有用情報の尺度としての圧縮
- Abstract要約: 低ランク適応は、コンパクトな学習アップデートを通じて凍結した言語モデルに適応する。
演算動作率$Rstar$を圧縮アダプタの最小シリアライズサイズとして定義する。
微調整圧縮性は,データセットのみではなく,データセット-受信者ペアの特性であることを示す。
- 参考スコア(独自算出の注目度): 47.29311728291368
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) adapts a frozen language model through a compact learned update, making it a natural setting for asking how much information fine-tuning needs to write. Yet adapter rank, parameter count, or numerical reconstruction error do not directly tell us how many bits are required to preserve the acquired behavior. We therefore define an operational behavioral rate $R^\star$ as the smallest serialized size of a compressed adapter that, once reloaded into the frozen base model, retains a fixed fraction of its held-out fine-tuning gain. Across LoRA fine-tuning experiments, this rate increases with distinct training content at fixed optimization budgets, but is not determined by intuitive metrics like source description length, fine-tuning gain, or weight-space reconstruction error. Most importantly, the same datasets exhibit substantially different, and even reordered, rates across frozen base models, showing that fine-tuning compressibility is a property of the dataset--receiver pair rather than of the dataset alone. However, we show that correction spectra measured on the data are able to rank these rates within a receiver. Finally, we study a striking noise-reducing effect of compression: adapters trained on deliberately corrupted datasets fall far below the frozen model, yet after compression score above it (23.7% to 82.9% on GSM8K, against 77.6% for frozen Qwen2.5-7B), consistently across tested families and sizes. The damage is unevenly concentrated in the adapter's leading singular directions, which compression appears to filter. Away from its training task, the compressed corrupted adapter also generalizes better than a clean fine-tune: on harder math it retains 97% of base accuracy, versus 44% for the clean adapter.
- Abstract(参考訳): Low-Rank Adaptation (LoRA)は、コンパクトな学習アップデートを通じて、凍結した言語モデルに適応する。
しかし、アダプタのランク、パラメータ数、数値再構成誤差は、取得した動作を保存するのにどれだけのビットが必要かを直接教えてくれない。
そこで, 圧縮アダプタの最小シリアライズサイズとして動作速度を$R^\star$と定義し, 冷凍ベースモデルに再ロードすると, 保持した微調整利得の一定割合を保持する。
LoRAの微調整実験全体では、この速度は固定最適化予算において異なるトレーニング内容で増加するが、ソース記述長、微調整ゲイン、重み空間再構成誤差といった直感的な指標では決定されない。
最も重要なことは、同じデータセットは、凍ったベースモデル間でかなり異なる、あるいは、リオーダーされたレートを示しており、微調整圧縮性はデータセットのみではなく、データセット-受信者ペアの特性であることを示している。
しかし、データ上で測定された補正スペクトルは、受信機内でこれらのレートをランク付けできることを示す。
最後に、圧縮による顕著なノイズ低減効果について検討する: 意図的に破損したデータセットを訓練したアダプタは、凍ったモデルよりはるかに低く落ちるが、圧縮スコア(GSM8Kでは23.7%から82.9%、凍結したQwen2.5-7Bでは77.6%)は、テスト対象の家族やサイズに一貫して及んでいる。
損傷はアダプターのリード特異方向に集中しており、圧縮はフィルターのように見える。
この圧縮されたアダプタは、トレーニングのタスクとは別に、クリーンな微妙なチューンよりもうまく一般化している。
関連論文リスト
- What does FFN compression change downstream? Same-state causal restoration in diffusion language models [0.0]
圧縮されたモデルで到達した正確な電流に基づいて、元のFFNを復元するSame-State Causal Restoration (SSR)を導入する。
我々の知る限り、DLM圧縮における除去FFN計算による同一電流入出力閉ループ効果の直接測定はこれが初めてである。
論文 参考訳(メタデータ) (2026-09-16T17:20:29Z) - Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。
KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。
有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
論文 参考訳(メタデータ) (2026-09-02T00:42:54Z) - AdaRadar: Rate Adaptive Spectral Compression for Radar-based Perception [26.239044699549506]
レーダーは自律運転システムにおいて重要な知覚モダリティである。
高次元生レーダデータの高いボリュームは、コンピュータエンジンとの通信リンクを飽和させる。
適応フィードバックを用いたレーダデータ圧縮を提案する。
論文 参考訳(メタデータ) (2026-03-18T17:42:34Z) - Caesar: A Low-deviation Compression Approach for Efficient Federated Learning [26.590688371187]
低次元圧縮手法を用いた新しいFLフレームワークCaesarを提案する。
私たちはCaesarを、40台のスマートフォンと80台のNVIDIA Jetsonデバイスを備えた2つの物理プラットフォームに実装しました。
論文 参考訳(メタデータ) (2024-12-28T03:20:36Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳(メタデータ) (2024-02-07T16:32:29Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T15:52:08Z) - Reliable Model Compression via Label-Preservation-Aware Loss Functions [14.368823297066276]
本稿では,教師の学習パラダイムを用いてラベルの保存を改善するフレームワークを提案する。
圧縮モデルと参照モデルとのミスマッチ数を最大4.1倍に削減する。
論文 参考訳(メタデータ) (2020-12-03T00:00:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。