論文の概要: Latent Space Factorization in LoRA

• arxiv url: http://arxiv.org/abs/2510.19640v1
• Date: Wed, 22 Oct 2025 14:37:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.930207
• Title: Latent Space Factorization in LoRA
• Title（参考訳）: LoRAにおける潜時空間因子化
• Authors: Shashi Kumar, Yacouba Kaloga, John Mitros, Petr Motlicek, Ina Kodrasi,
• Abstract要約: 低ランク適応 (LoRA) はパラメータ効率の高い微調整法として広く用いられている。 本稿ではFVAE-LoRA(Facterized Variational Autoencoder LoRA)を提案する。 また,本論文のエビデンス・ロウアー・バウンドの定式化は,潜在空間間の分解を明示的に促進し,一方の潜在空間をタスク・サレントな特徴に,他方の残余情報に割り当てるものである。
• 参考スコア（独自算出の注目度）: 10.994747174370099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) is a widely used method for parameter-efficient finetuning. However, existing LoRA variants lack mechanisms to explicitly disambiguate task-relevant information within the learned low-rank subspace, potentially limiting downstream performance. We propose Factorized Variational Autoencoder LoRA (FVAE-LoRA), which leverages a VAE to learn two distinct latent spaces. Our novel Evidence Lower Bound formulation explicitly promotes factorization between the latent spaces, dedicating one latent space to task-salient features and the other to residual information. Extensive experiments on text, audio, and image tasks demonstrate that FVAE-LoRA consistently outperforms standard LoRA. Moreover, spurious correlation evaluations confirm that FVAE-LoRA better isolates task-relevant signals, leading to improved robustness under distribution shifts. Our code is publicly available at: https://github.com/idiap/FVAE-LoRA
• Abstract（参考訳）: 低ランク適応 (LoRA) はパラメータ効率の高い微調整法として広く用いられている。 しかし、既存のLoRAは、学習したローランクサブ空間内のタスク関連情報を明確に曖昧にするためのメカニズムを欠いているため、ダウンストリームのパフォーマンスが制限される可能性がある。 本稿では、VAEを利用して2つの異なる潜在空間を学習するFVAE-LoRA(Factized Variational Autoencoder LoRA)を提案する。 また,本論文のエビデンス・ロウアー・バウンドの定式化は,潜在空間間の分解を明示的に促進し,一方の潜在空間をタスク・サレントな特徴に,他方の残余情報に割り当てるものである。 FVAE-LoRAはテキスト、音声、画像のタスクにおいて、標準のLoRAよりも一貫して優れていることを示す。 さらに,FVAE-LoRAによりタスク関連信号の分離が向上し,分散シフトによるロバスト性の向上が期待できる。 私たちのコードは、https://github.com/idiap/FVAE-LoRAで公開されています。

関連論文リスト

• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [5.103108721904429]
  そこで我々はDropLoRAを紹介した。DropLoRAは、ランク次元のプルーニングに焦点を当てた、新しいプルーニングベースのアプローチである。 学習サブスペースを継続的に適応することにより、DropLoRAは、追加のトレーニングや推論コストを発生させることなく、パフォーマンスを大幅に向上する。
  論文  参考訳（メタデータ） (2025-08-24T12:45:36Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
  Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。 マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:58:53Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
  ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。 本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:20:08Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。