論文の概要: LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets
- arxiv url: http://arxiv.org/abs/2610.36386v1
- Date: Mon, 26 Oct 2026 23:02:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.207734
- Title: LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets
- Title（参考訳）: LoRA on a budget: Function-Aware Post-Hoc Compression for Adapter Fleets
- Abstract要約: Low-Rank Adaptation (LoRA) は、基礎モデルを多くのタスクやユーザ固有の変種に効率的に特殊化するための重要なメカニズムとなっている。
実用的なフロンティアを構築するためのラベルのない手法であるFRA(Functional Rank Allocation)を導入する。
FRAは、モジュールの切り離しを終端まで測定し、これらの測定を動的プログラミングによって解決された追加的な探索サロゲートとして利用する。
- 参考スコア（独自算出の注目度）: 1.5006323636551544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-Rank Adaptation (LoRA) has become a key mechanism for efficiently specializing foundation models into many task- and user-specific variants. Serving many LoRA adapters under a shared resource budget turns post-hoc compression into a two-level allocation problem: rank must be distributed across layers within each adapter and across adapters within the fleet. Although trained LoRAs contain substantial spectral redundancy, spectral reconstruction alone does not determine how much compression an adapter can functionally tolerate. We formulate fleet compression through a functional rank-distortion frontier for each adapter, followed by fleet-level minimax allocation under a shared rank budget. Given exact frontiers, this decomposition is equivalent to joint optimization over all layer ranks. We introduce Functional Rank Allocation (FRA), an unlabeled method for constructing practical frontiers. FRA measures isolated module truncations end to end, uses these measurements as an additive search surrogate solved by dynamic programming, remeasures every complete candidate, and takes the lower-risk envelope with a complementary spectral proposal before exact minimax allocation over the constructed frontiers. Across 78 adapters from three public fleets, FRA improves worst-case and tail utility over uniform spectral compression in constrained-budget regimes. Fixed-budget probes show that isolated costs rank candidates well, but their calibration shifts across proposal shapes; end-to-end verification and the spectral proposal therefore limit functional-search error.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、基礎モデルを多くのタスクやユーザ固有の変種に効率的に特殊化するための重要なメカニズムとなっている。
共有リソース予算の下で多くのLoRAアダプタを実行すると、ポストホック圧縮が2段階のアロケーション問題になる。
訓練されたLoRAにはかなりのスペクトル冗長性があるが、スペクトル再構成だけでは、アダプタが機能的に許容できる圧縮量を決定できない。
我々は,各アダプタに対して機能的ランク歪みフロンティアを通したフリート圧縮を定式化し,その後,共通のランク予算の下でフリートレベルのミニマックスアロケーションを行う。
正確なフロンティアを考えると、この分解はすべての層上の共同最適化と等価である。
実用的なフロンティアを構築するためのラベルのない手法であるFRA(Functional Rank Allocation)を導入する。
FRAは、モジュールの切り離しを終端まで計測し、これらの測定を動的プログラミングによって解決された付加的な探索サロゲートとして使用し、すべての完全候補を再測定し、構築されたフロンティア上での正確なミニマックスアロケーションの前に、補完的なスペクトルの提案で下位リスクエンベロープを取る。
FRAは3つの公共機関からの78個のアダプタを網羅し、制約付き予算体制における均一なスペクトル圧縮よりも最悪のケースとテールユーティリティを改善している。
固定予算調査は、孤立コストが候補を適切にランク付けすることを示したが、それらのキャリブレーションは、提案形式、エンドツーエンドの検証とスペクトルの提案によって、関数探索誤差を制限している。
関連論文リスト
- SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。
我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
論文 参考訳（メタデータ） (2026-06-27T03:25:36Z) - Compress then Merge: From Multiple LoRAs into One Low-Rank Adapter [31.066992554963093]
我々は、$T$ LoRAsを1つのランクにマージする問題-$r$ LoRAについて研究する。
既存の-then-Compressパイプラインは、ランク制約を後付けとして扱う。
逆パイプラインであるCompress-then-Merge (CtM)を提案する。
論文 参考訳（メタデータ） (2026-06-02T14:42:46Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。
以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
論文 参考訳（メタデータ） (2026-05-08T15:13:01Z) - Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning [6.087223232267447]
LoRAを用いた大規模モデルの微分プライベートな微調整は、LoRAの乗法構造に起因する凝集誤差に悩まされる。
3つの軸で定義される適応的フレームワークAS-LoRAを提案する(レイヤワイド自由度、ラウンドワイド適応度、曲率認識スコア)。
理論的には、AS-LoRAは階層化されたスケジュールの再構築エラーフロアを排除し、収束を加速し、よりフラットなミニマへのソリューションを暗黙的にバイアスし、追加のプライバシーコストを発生させない。
論文 参考訳（メタデータ） (2026-05-07T07:01:00Z) - HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation [0.0]
低ランク更新はしばしば、事前訓練された重量の先頭の特異な方向にエネルギーを集中させる。
スペクトル対応適応フレームワークHiP-LoRAを提案する。
一致した予算の下では、HiP-LoRAはトレーニング前の劣化とマルチアダプタMergeFailを大幅に削減する。
論文 参考訳（メタデータ） (2026-04-20T03:11:01Z) - Multinoulli Extension: A Lossless Continuous Relaxation for Partition-Constrained Subset Selection [60.07018090570548]
我々はパラメータフリーで、歪んだ局所探索法と同じ近似保証を実現できるMultinoulliSCGという新しいアルゴリズムを導入する。
また、分割制約に関する未探索オンラインサブセット選択問題に対して、Multinoulli-CGとMultinoulli-GAGAという2つの新しいオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-23T02:30:01Z) - Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。
提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。
トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
論文 参考訳（メタデータ） (2025-07-28T11:52:56Z) - Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。
提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文 参考訳（メタデータ） (2025-07-02T15:56:40Z) - FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。
多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
論文 参考訳（メタデータ） (2025-05-31T10:27:08Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。