論文の概要: Norm-Bounded Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2501.19050v1
• Date: Fri, 31 Jan 2025 11:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 22:46:12.988881
• Title: Norm-Bounded Low-Rank Adaptation
• Title（参考訳）: Norm-Bunded Low-Rank Adaptation
• Authors: Ruigang Wang, Krishnamurthy Dvijotham, Ian R. Manchester,
• Abstract要約: 重み適応行列の各特異値に対する明示的な境界を許容する2つのパラメータ化を導入する。 視覚的微調整ベンチマーク実験により,提案手法は適応性能がよいことを示す。 また、プライバシ保護モデルマージと低ランク行列補完の応用についても検討する。
• 参考スコア（独自算出の注目度）: 10.22454500514559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose norm-bounded low-rank adaptation (NB-LoRA) for parameter-efficient fine tuning. We introduce two parameterizations that allow explicit bounds on each singular value of the weight adaptation matrix, which can therefore satisfy any prescribed unitarily invariant norm bound, including the Schatten norms (e.g., nuclear, Frobenius, spectral norm). The proposed parameterizations are unconstrained and complete, i.e. they cover all matrices satisfying the prescribed rank and norm constraints. Experiments on vision fine-tuning benchmarks show that the proposed approach can achieve good adaptation performance while avoiding model catastrophic forgetting and also substantially improve robustness to a wide range of hyper-parameters, including adaptation rank, learning rate and number of training epochs. We also explore applications in privacy-preserving model merging and low-rank matrix completion.
• Abstract（参考訳）: 本研究では,パラメータ効率のよい微調整のためのノルム有界低ランク適応(NB-LoRA)を提案する。 重み適応行列の各特異値に対する明示的な境界を許容する2つのパラメータ化を導入し、従って、シャッテンノルム(例えば、核、フロベニウス、スペクトルノルム)を含む任意の一意不変ノルムを満足することができる。 提案したパラメータ化は制約がなく完備であり、すなわち、所定のランクとノルムの制約を満たすすべての行列をカバーする。 視覚的微調整ベンチマーク実験により, 提案手法は, モデル破滅的忘れを回避しつつ, 適応率, 学習率, 訓練エポック数など, 広範囲のハイパーパラメータに対する堅牢性を大幅に向上させつつ, 適応性能を向上できることを示した。 また、プライバシ保護モデルマージと低ランク行列補完の応用についても検討する。

関連論文リスト

• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation [33.3214207118996]
  Low-Rank Adaptation (LoRA)は、そのパラメータ効率の良い大規模ニューラルネットワークの微調整で広く認識されている。 本稿では,これらの制約を克服する新しいテンソルトレイン誘導適応フレームワークを提案する。 その結果,Guide ベースの LoRA は標準 LoRA と TT-LoRA を一貫して上回り,より少ないパラメータで精度とスケーラビリティの向上を実現している。
  論文  参考訳（メタデータ） (2025-06-19T16:46:23Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Mirror Descent Under Generalized Smoothness [23.5387392871236]
  一般ノルムと双対のヘッセン項のノルムを測定する新しい$ell*$-smoothnessの概念を導入する。 我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
  論文  参考訳（メタデータ） (2025-02-02T11:23:10Z)
• Consistent support recovery for high-dimensional diffusions [0.0]
  本稿では,適応型ラッソ推定器に着目し,空間的制約下でのD次元エルゴード拡散過程を解析する。 適応ラッソがドリフトパラメータの回復特性と正規性を達成する条件を線形モデルに焦点をあてて導出する。
  論文  参考訳（メタデータ） (2025-01-28T04:44:00Z)
• Adaptive Conformal Inference by Betting [51.272991377903274]
  データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。 適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。 本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:42:08Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.649599011681712]
  大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。 本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。 モンテカルロ推定を応用して,低次パラメータの非バイアス後推定を低次分散で学習する,効率的な微調整手法であるモンテクロラを提案する。
  論文  参考訳（メタデータ） (2024-11-07T01:31:48Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Accurate and Efficient Fine-Tuning of Quantized Large Language Models Through Optimal Balance [20.659750151408186]
  大規模言語モデル(LLM)は、様々な領域で素晴らしいパフォーマンスを示している。 パラメータ量子化とローランド適応(LoRA)を組み合わせた既存ソリューション QA-BLoRA(Quantization-Aware Fine-tuning with Balanced Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2024-07-24T06:16:37Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
  本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。 我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
  論文  参考訳（メタデータ） (2023-11-28T17:03:56Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• Black Box Lie Group Preconditioners for SGD [13.30021794793606]
  勾配降下の収束を加速するために,行列自由および低階近似プレコンディショナーを提案する。 パラメータ更新の学習速度とプレコンディショナリングのステップサイズは自然に正規化され、デフォルト値はほとんどの状況でうまく機能する。
  論文  参考訳（メタデータ） (2022-11-08T18:07:08Z)
• Provably tuning the ElasticNet across instances [53.0518090093538]
  我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。 我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
  論文  参考訳（メタデータ） (2022-07-20T21:22:40Z)
• An Adaptive Incremental Gradient Method With Support for Non-Euclidean Norms [19.41328109094503]
  そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。 一般的な設定の下で収束保証を確立する。 我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
  論文  参考訳（メタデータ） (2022-04-28T09:43:07Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。