論文の概要: Orthogonal Low-rank Adaptation in Lie Groups for Continual Learning of Large Language Models
- arxiv url: http://arxiv.org/abs/2509.06100v1
- Date: Sun, 07 Sep 2025 15:29:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-09 14:07:03.857838
- Title: Orthogonal Low-rank Adaptation in Lie Groups for Continual Learning of Large Language Models
- Title（参考訳）: 大規模言語モデルの連続学習のためのリー群における直交低ランク適応
- Authors: Kefan Cao, Shuaicheng Wu,
- Abstract要約: 大規模言語モデル(LLM)は、連続したマルチタスク設定で破滅的な忘れをしがちである。
リー群における直交低ランク適応 (Orthogonal Low-rank Adaptation in Lie Groups,OLieRA) を提案する。
OLieRAは、Standard CLベンチマークで最先端の結果を達成し、多数のタスク設定において、最もパフォーマンスの高いメソッドの1つとして残っています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are prone to catastrophic forgetting in sequential multi-task settings. Parameter regularization methods such as O-LoRA and N-LoRA alleviate task interference by enforcing low-rank subspace orthogonality, but they overlook the fact that conventional additive fine-tuning disrupts the intrinsic geometric structure of LLM parameters, limiting performance. Our key insight is that the parameter space of LLMs possesses a geometric structure, which must be preserved in addition to enforcing orthogonality. Based on this, we propose Orthogonal Low-rank Adaptation in Lie Groups (OLieRA), which introduces Lie group theory into LLM fine-tuning: leveraging multiplicative updates to preserve parameter geometry while applying orthogonality constraints to task subspaces. Experiments demonstrate that OLieRA achieves state-of-the-art results on the Standard CL benchmark and remains among the top-performing methods in the Large Number of Tasks setting.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、連続したマルチタスク設定で破滅的な忘れをしがちである。
O-LoRAやN-LoRAのようなパラメータ正規化手法は、低ランク部分空間の直交を強制することによってタスク干渉を緩和するが、従来の加法的な微調整がLLMパラメータの固有の幾何学的構造を妨害し、性能を制限しているという事実を無視する。
我々の重要な洞察は、LLMのパラメータ空間は幾何構造を持ち、直交を強制することに加えて保存されなければならないということである。
そこで我々は,Lie 群理論を LLM 微調整に導入する Orthogonal Low-rank Adaptation in Lie Groups (OLieRA) を提案する。
実験により、OLieRAは標準CLベンチマークで最先端の結果を達成し、多数のタスク設定において最高パフォーマンスの手法の1つとして残っています。
関連論文リスト
- Budget-Adaptive Adapter Tuning in Orthogonal Subspaces for Continual Learning in LLMs [11.918377767914222]
大規模言語モデル(LLM)は、連続学習(CL)のシナリオにおいて破滅的な忘れ方に悩まされることが多い。
LLMにおける継続学習のためのパラメータ効率の高い新しい手法であるOA-Adapterを提案する。
論文 参考訳（メタデータ） (2025-05-28T13:38:21Z) - Alignment of large language models with constrained learning [93.2264691508005]
本研究では,制約付きアライメント問題に対する最適大言語モデル (LLM) ポリシーの計算問題について検討する。
我々はラグランジアン双対性を用いて、ラグランジアンによるポリシーの更新と双対降下による双対変数の更新を交互に交互に行う反復的双対ベースアライメント法を開発する。
論文 参考訳（メタデータ） (2025-05-26T01:04:56Z) - Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。
これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。
本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
論文 参考訳（メタデータ） (2025-04-01T14:36:45Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。
本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
論文 参考訳（メタデータ） (2024-10-22T08:27:23Z) - Is Parameter Collision Hindering Continual Learning in LLMs? [50.57658782050275]
大規模言語モデル(LLM)は、複数のタスクを逐次学習する際に破滅的な忘れに悩まされることが多い。
CL問題に対処する上で,非衝突パラメータの構築はより重要な相互依存因子であることを示す。
低衝突速度を利用してLCMのCLを向上する単純なアプローチである非衝突低ランク適応(N-LoRA)を提案する。
論文 参考訳（メタデータ） (2024-10-14T05:54:11Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。