論文の概要: Norm-Bounded Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2501.19050v1
• Date: Fri, 31 Jan 2025 11:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:18.981787
• Title: Norm-Bounded Low-Rank Adaptation
• Title（参考訳）: Norm-Bunded Low-Rank Adaptation
• Authors: Ruigang Wang, Krishnamurthy Dvijotham, Ian R. Manchester,
• Abstract要約: 重み適応行列の各特異値に対する明示的な境界を許容する2つのパラメータ化を導入する。 視覚的微調整ベンチマーク実験により,提案手法は適応性能がよいことを示す。 また、プライバシ保護モデルマージと低ランク行列補完の応用についても検討する。
• 参考スコア（独自算出の注目度）: 10.22454500514559
• License:
• Abstract: In this work, we propose norm-bounded low-rank adaptation (NB-LoRA) for parameter-efficient fine tuning. We introduce two parameterizations that allow explicit bounds on each singular value of the weight adaptation matrix, which can therefore satisfy any prescribed unitarily invariant norm bound, including the Schatten norms (e.g., nuclear, Frobenius, spectral norm). The proposed parameterizations are unconstrained and complete, i.e. they cover all matrices satisfying the prescribed rank and norm constraints. Experiments on vision fine-tuning benchmarks show that the proposed approach can achieve good adaptation performance while avoiding model catastrophic forgetting and also substantially improve robustness to a wide range of hyper-parameters, including adaptation rank, learning rate and number of training epochs. We also explore applications in privacy-preserving model merging and low-rank matrix completion.
• Abstract（参考訳）: 本研究では,パラメータ効率のよい微調整のためのノルム有界低ランク適応(NB-LoRA)を提案する。 重み適応行列の各特異値に対する明示的な境界を許容する2つのパラメータ化を導入し、従って、シャッテンノルム(例えば、核、フロベニウス、スペクトルノルム)を含む任意の一意不変ノルムを満足することができる。 提案したパラメータ化は制約がなく完備であり、すなわち、所定のランクとノルムの制約を満たすすべての行列をカバーする。 視覚的微調整ベンチマーク実験により, 提案手法は, モデル破滅的忘れを回避しつつ, 適応率, 学習率, 訓練エポック数など, 広範囲のハイパーパラメータに対する堅牢性を大幅に向上させつつ, 適応性能を向上できることを示した。 また、プライバシ保護モデルマージと低ランク行列補完の応用についても検討する。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Mirror Descent Under Generalized Smoothness [23.5387392871236]
  一般ノルムと双対のヘッセン項のノルムを測定する新しい$ell*$-smoothnessの概念を導入する。 我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
  論文  参考訳（メタデータ） (2025-02-02T11:23:10Z)
• Consistent support recovery for high-dimensional diffusions [0.0]
  本稿では,適応型ラッソ推定器に着目し,空間的制約下でのD次元エルゴード拡散過程を解析する。 適応ラッソがドリフトパラメータの回復特性と正規性を達成する条件を線形モデルに焦点をあてて導出する。
  論文  参考訳（メタデータ） (2025-01-28T04:44:00Z)
• Adaptive Conformal Inference by Betting [51.272991377903274]
  データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。 適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。 本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:42:08Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• Black Box Lie Group Preconditioners for SGD [13.30021794793606]
  勾配降下の収束を加速するために,行列自由および低階近似プレコンディショナーを提案する。 パラメータ更新の学習速度とプレコンディショナリングのステップサイズは自然に正規化され、デフォルト値はほとんどの状況でうまく機能する。
  論文  参考訳（メタデータ） (2022-11-08T18:07:08Z)
• Provably tuning the ElasticNet across instances [53.0518090093538]
  我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。 我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
  論文  参考訳（メタデータ） (2022-07-20T21:22:40Z)
• An Adaptive Incremental Gradient Method With Support for Non-Euclidean Norms [19.41328109094503]
  そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。 一般的な設定の下で収束保証を確立する。 我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
  論文  参考訳（メタデータ） (2022-04-28T09:43:07Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。