論文の概要: A Categorical Atlas of Parameter-Efficient Fine-Tuning: Cones, Orbits, and Gauges
- arxiv url: http://arxiv.org/abs/2610.12728v1
- Date: Thu, 08 Oct 2026 21:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.284001
- Title: A Categorical Atlas of Parameter-Efficient Fine-Tuning: Cones, Orbits, and Gauges
- Title（参考訳）: パラメータ効率の良い微調整のカテゴリー的アトラス:円錐、軌道、ゲージ
- Abstract要約: 計算式を読み取る7つの座標で138枚の論文から382個のメソッドを分類し,403個のシミュレーション矢印と485個の障害物を観測した。
ゼロ初期化 LoRA と家事適応が既定のランクとパリティ条件下で始まり、コーンの頂点から始まることを証明した。
また、アダムの下では、エプシロン、重み付け、クリッピング、共有スケジュールがなく、標準零初期化から得られるLoRA+は、ちょうど平らなLoRAの軌道に従うことを証明している。
- 参考スコア（独自算出の注目度）: 13.091120042405068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-efficient fine-tuning has hundreds of methods, usually compared by parameter count and benchmark score. We compare them as maps. A pretrained checkpoint is a base point in weight space, and a weight-space method is a smooth map from a small parameter space that starts at that point. These maps form a slice category in which the frozen model is initial and full fine-tuning terminal. Three invariants of the map do most of the work. Its image near the base point governs expressivity, through the first-order image, the dimension, a min-cut bound on rank and whether that point is smooth or an apex. Its fibres, with the optimizer's metric, govern training dynamics. Base change moves the base point and covers splitting initialisations, quantisation, restarts and merging. We prove, for example, that zero-initialised LoRA, and Householder reflection adaptation at its default start under stated rank and parity conditions, begin at the apex of a cone; that no exact initialisation lets LoRA reach an update of rank above twice its own; that exactly orthogonal methods never change a weight's singular values in exact arithmetic, however often they are merged; that under Adam with no epsilon, weight decay or clipping and one shared schedule, LoRA+ from the standard zero initialisation follows exactly the trajectory of plain LoRA with its scale multiplied by the learning-rate ratio; that Adam with shared hyperparameters respects only the signed permutations inside LoRA's continuous symmetry group of full-rank factors; and that the activation function decides when a scaling adapter folds into preceding weights. We classify 382 methods from 138 papers by seven coordinates read off their formulas, with 403 simulation arrows and 485 obstructions. Every numbered result is proved in full, and results due to others are credited where we re-derive them.
- Abstract（参考訳）: パラメータ効率の良い微調整には数百の方法があり、通常はパラメータカウントとベンチマークスコアと比較される。
私たちはそれらを地図と比較します。
事前訓練されたチェックポイントは重み空間の基底点であり、重み空間法はその点から始まる小さなパラメータ空間からの滑らかな写像である。
これらの写像は、凍結されたモデルを初期かつ完全な微調整端末とするスライス圏を形成する。
写像の3つの不変量は、ほとんどの作業を行う。
その基点近傍の像は、一階の像、寸法、階数に縛られたミンカット、およびその点が滑らかか頂点であるかによって、表現性を支配する。
その繊維は、オプティマイザのメートル法で、トレーニングダイナミクスを制御している。
ベース変更はベースポイントを移動し、分割初期化、定量化、再起動、マージをカバーします。
例えば、ゼロ初期化 LoRA とハウスリフレクションの既定値でのデフォルト値でのデフォルト値の開始は、円錐の頂点で始まること、正確な初期化がなければ、LoRA はそれ自身で2倍のランクの更新を達成できること、正確に直交法が正確な算術でウェイトの特異値を変えることはないこと、Adam がエプシロンやウェイト崩壊やクリッピングや1つの共有スケジュールを持たないこと、標準ゼロ初期化の LoRA+ は、通常の LoRA の軌道を学習速度比に乗じて正確に従うこと、共有ハイパーパラメータを持つAdam がLoRA の符号付き置換のみを尊重すること、そしてフルランク因子の連続対称性群内の符号付き置換のみを尊重すること、そして、実装の活性化が前の重みに折り畳まれること、などが証明される。
計算式を読み取る7つの座標で138枚の論文から382個のメソッドを分類し,403個のシミュレーション矢印と485個の障害物を観測した。
数値化された結果はすべて完全であることが証明され、他の結果による結果が、それらを再導出する場所として認定されます。
関連論文リスト
- A Riemannian Geometry for Low-rank Adaptation [21.153299988218578]
低ランク適応(LoRA)は、事前訓練された深層ニューラルネットワークのパラメータ効率の高い微調整技術として広く用いられている。
ウェイトレベルでの完全な微調整にギャップを埋めるために、LoRAに特化して調整された新しいリーマン計量を提案する。
論文 参考訳（メタデータ） (2026-10-06T09:47:31Z) - Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
3次変換器は、極端なメモリと計算効率を提供する。
既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。
3次重みの離散的な更新を表す3次乗法適応を提案する。
論文 参考訳（メタデータ） (2026-08-25T12:15:56Z) - SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。
我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
論文 参考訳（メタデータ） (2026-06-27T03:25:36Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation [0.0]
低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。
各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。
結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
論文 参考訳（メタデータ） (2026-05-16T04:03:21Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。
勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文 参考訳（メタデータ） (2026-02-18T13:41:41Z) - Subspace Geometry Governs Catastrophic Forgetting in Low-Rank Adaptation [0.0]
Low-Rank Adaptation (LoRA) は、大規模な事前学習モデルに適応するためのパラメータ効率の高いアプローチとして登場した。
勾配部分空間相互作用のレンズを通して,LoRAにおける破滅的忘れを特徴付ける幾何学的理論を提案する。
論文 参考訳（メタデータ） (2026-02-10T22:45:47Z) - ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints [64.35580479051208]
以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。
本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
論文 参考訳（メタデータ） (2025-07-09T23:52:31Z) - InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳（メタデータ） (2023-06-20T03:03:04Z) - Space-Partitioning RANSAC [30.255457622022487]
RANSACモデルの品質計算を高速化する新しいアルゴリズムを提案する。
この方法は、例えば2D-2D点対応などの関節対応空間を2つの正則格子に分割することに基づいている。
RANSACの実行時間を41%削減するが、精度は確実に低下しない。
論文 参考訳（メタデータ） (2021-11-24T10:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。