Fugu-MT 論文翻訳(概要): LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation

論文の概要: LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2504.07448v1
Date: Thu, 10 Apr 2025 04:46:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-11 12:23:43.546784
Title: LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
Title（参考訳）: LoRI:マルチタスク低ランク適応におけるクロスタスク干渉の低減
Authors: Juzheng Zhang, Jiacheng You, Ashwinee Panda, Tom Goldstein,
Abstract要約: Low-Rank Adaptation (LoRA)は、Large Language Models (LLMs) のためのPEFT法として人気がある。提案するLoRA with Reduced Interference (LoRI) は,プロジェクション行列をランダムなプロジェクションとして$A$を凍結し,タスク固有のマスクを用いて$B$をスパースする,単純かつ効果的な手法である。
参考スコア（独自算出の注目度）: 43.28443278149958
License:
Abstract: Low-Rank Adaptation (LoRA) has emerged as a popular parameter-efficient fine-tuning (PEFT) method for Large Language Models (LLMs), yet it still incurs notable overhead and suffers from parameter interference in multi-task scenarios. We propose LoRA with Reduced Interference (LoRI), a simple yet effective approach that freezes the projection matrices $A$ as random projections and sparsifies the matrices $B$ using task-specific masks. This design substantially reduces the number of trainable parameters while maintaining strong task performance. Moreover, LoRI minimizes cross-task interference in adapter merging by leveraging the orthogonality between adapter subspaces, and supports continual learning by using sparsity to mitigate catastrophic forgetting. Extensive experiments across natural language understanding, mathematical reasoning, code generation, and safety alignment tasks demonstrate that LoRI outperforms full fine-tuning and existing PEFT methods, while using up to 95% fewer trainable parameters than LoRA. In multi-task experiments, LoRI enables effective adapter merging and continual learning with reduced cross-task interference. Code is available at: https://github.com/juzhengz/LoRI
Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、Large Language Models (LLMs) のPEFT(パラメータ効率のよい微調整)メソッドとして登場したが、それでも目立ったオーバーヘッドを発生させ、マルチタスクシナリオにおけるパラメータ干渉に悩まされている。提案するLoRA with Reduced Interference (LoRI) は,プロジェクション行列をランダムなプロジェクションとして$A$を凍結し,タスク固有のマスクを用いて$B$をスパースする,単純かつ効果的な手法である。この設計は、強いタスク性能を維持しながら、トレーニング可能なパラメータの数を大幅に削減する。さらに、LoRIはアダプタ部分空間間の直交性を利用して、アダプタマージにおけるクロスタスク干渉を最小限に抑え、悲惨な忘れを緩和するためにスパーシティを利用することで連続的な学習を支援する。自然言語理解、数学的推論、コード生成、安全性アライメントタスクに関する広範な実験は、LoRIが完全な微調整および既存のPEFTメソッドよりも優れており、最大95%のトレーニング可能なパラメータを使用していることを示している。マルチタスク実験では、LoRIはクロスタスク干渉を減らすことで、効果的なアダプタマージと連続学習を可能にする。コードは、https://github.com/juzhengz/LoRIで入手できる。

関連論文リスト

RandLoRA: Full-rank parameter-efficient fine-tuning of large models [46.25124374446935]
Low-Rank Adaptation (LoRA)とその変種は、大きなトランスフォーマーネットワークのトレーニング可能なパラメータとメモリ要求の数を削減した。ウェイト更新の低ランクの性質は、本質的に微調整されたモデルの表現力を制限している。本稿では、低ランクで非学習可能なランダム行列の線形結合を用いて、フルランク更新を行うRandLoRAを提案する。
論文参考訳（メタデータ） (2025-02-03T01:59:45Z)
EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
論文参考訳（メタデータ） (2025-01-21T11:42:09Z)
Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2025-01-12T17:41:23Z)
LoRA-Mini : Adaptation Matrices Decomposition and Selective Training [2.0670689746336]
Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を減らし、パラメータ効率の良い微調整を可能にする、有望なソリューションとして登場した。低ランク行列を4つに分割することでパラメータ効率を向上させるLoRAを最適化したLoRA-Miniを提案する。このアプローチは、標準のLoRAに匹敵するパフォーマンスレベルを維持しながら、トレーニング可能なパラメータの数に対して、標準のLoRAと比較して最大20倍の削減を実現している。
論文参考訳（メタデータ） (2024-11-24T12:21:14Z)
MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning [29.957620178740186]
マルチタスクのシナリオでは、トレーニングの不均衡やシーソー効果といった課題が頻繁に現れます。フレキシブルな微調整フレームワークとして非対称低ランク適応(MALoRA)の混合を提案する。 MALoRAはトレーニング可能なパラメータの数を30%から48%削減し、トレーニング速度を1.2倍にし、シングルタスクのLoRAモデルの計算効率に匹敵する。
論文参考訳（メタデータ） (2024-10-30T07:53:52Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文参考訳（メタデータ） (2024-02-27T07:14:12Z)
Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文参考訳（メタデータ） (2024-02-24T20:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。