論文の概要: Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation

• arxiv url: http://arxiv.org/abs/2405.17484v1
• Date: Fri, 24 May 2024 16:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 00:00:30.062072
• Title: Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation
• Title（参考訳）: 家庭内リフレクション適応による低位と直交順応のギャップを埋める
• Authors: Shen Yuan, Haotian Liu, Hongteng Xu,
• Abstract要約: 家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。 HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 32.371755315509574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While following different technical routes, both low-rank and orthogonal adaptation techniques can efficiently adapt large-scale pre-training models in specific tasks or domains based on a small piece of trainable parameters. In this study, we bridge the gap between these two techniques, proposing a simple but effective adaptation method based on Householder reflections. Given a pre-trained model, our method fine-tunes its layers by multiplying each frozen weight matrix with an orthogonal matrix constructed by a chain of learnable Householder reflections (HRs). This HR-based orthogonal fine-tuning is equivalent to an adaptive low-rank adaptation. Moreover, we show that the orthogonality of the reflection planes corresponding to the HRs impacts the model capacity and regularity. The analysis motivates us to regularize the orthogonality of the HRs, leading to different implementations of the proposed Householder reflection adaptation (HRA) method. Compared with state-of-the-art methods, HRA achieves superior performance with fewer learnable parameters when adapting large language models and conditional image generators. The code is available at https://github.com/DaShenZi721/HRA
• Abstract（参考訳）: 異なる技術ルートに従う一方で、低ランクと直交の双方の手法は、訓練可能なパラメータの小さな部分に基づいて、特定のタスクやドメインで大規模な事前学習モデルを効率的に適用することができる。 本研究では,この2つの技法のギャップを橋渡しし,家庭内リフレクションに基づく簡易かつ効果的な適応手法を提案する。 本手法は, 学習可能な家庭用リフレクション(HR)の連鎖によって構築された直交行列を用いて, 各冷凍重量行列を乗算することにより, その層を微調整する。 このHRに基づく直交微調整は適応的な低ランク適応と等価である。 さらに、HRに対応する反射面の直交性がモデル容量と正則性に影響を及ぼすことを示す。 この分析は、HRの直交性を規則化する動機となり、提案手法の異なる実装に繋がる。 最先端の手法と比較して、HRAは、大きな言語モデルや条件付き画像生成装置を適用する際に、学習可能なパラメータが少なく、優れた性能を達成する。 コードはhttps://github.com/DaShenZi721/HRAで公開されている。

関連論文リスト

• Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms [50.808123629394245]
  人間フィードバックからの強化学習(RLHF)は,近年の大規模言語モデル(LLM)の成功に不可欠である。 この研究は、DAAに対する過度な最適化やハッキングの問題を定式化し、定式化する。 DAA法は, 幅広いKL予算にまたがるだけでなく, データセットの1つのエポックが完成する前にも劣化することがわかった。
  論文  参考訳（メタデータ） (2024-06-05T03:41:37Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing [8.88477151877883]
  高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。 本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。 提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
  論文  参考訳（メタデータ） (2023-10-10T01:04:15Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Parameter-efficient Model Adaptation for Vision Transformers [45.3460867776953]
  画像分類タスクにおける視覚変換器のパラメータ効率モデル適応戦略について検討する。 本稿では,局所固有次元を測定することで,まずサブモジュールを選択するパラメータ効率のよいモデル適応フレームワークを提案する。 提案手法は,20画像分類データセット間の精度とパラメータ効率のトレードオフを最良とする。
  論文  参考訳（メタデータ） (2022-03-29T05:30:09Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。