Fugu-MT 論文翻訳(概要): Tensorized Clustered LoRA Merging for Multi-Task Interference

論文の概要: Tensorized Clustered LoRA Merging for Multi-Task Interference

arxiv url: http://arxiv.org/abs/2508.03999v1
Date: Wed, 06 Aug 2025 01:26:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-07 20:09:22.49214
Title: Tensorized Clustered LoRA Merging for Multi-Task Interference
Title（参考訳）: マルチタスク干渉のためのテンソル化クラスタ化LORAマージ
Authors: Zhan Su, Fengran Mo, Guojun Liang, Jinghan Zhang, Bingbing Wen, Prayag Tiwari, Jian-Yun Nie,
Abstract要約: マルチタスク設定では、ヘテロジニアスソースでトレーニングされたLoRAアダプタをマージすると、しばしばtextittaskの干渉が発生し、下流のパフォーマンスが低下する。本稿では,タスクの干渉に対処するために,テンソル化されたクラスタ化LoRAライブラリを提案する。 TC-LoRAはPhi-3で+1.4%、Mistral-7Bで+2.3%の精度を達成し、LCM適応におけるTC-LoRAの有効性を示した。
参考スコア（独自算出の注目度）: 29.488565631016332
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the success of the monolithic dense paradigm of large language models (LLMs), the LoRA adapters offer an efficient solution by fine-tuning small task-specific modules and merging them with the base model. However, in multi-task settings, merging LoRA adapters trained on heterogeneous sources frequently causes \textit{task interference}, degrading downstream performance. To address this, we propose a tensorized clustered LoRA (TC-LoRA) library targeting to address the task interference at the \textit{text-level} and \textit{parameter-level}. At the \textit{text-level}, we cluster the training samples in the embedding space to capture input-format similarities, then train a specialized LoRA adapter for each cluster. At the \textit{parameter-level}, we introduce a joint Canonical Polyadic (CP) decomposition that disentangles task-specific and shared factors across LoRA adapters. This joint factorization preserves essential knowledge while reducing cross-task interference. Extensive experiments on out-of-domain zero-shot and skill-composition tasks-including reasoning, question answering, and coding. Compared to strong SVD-based baselines, TC-LoRA achieves +1.4\% accuracy on Phi-3 and +2.3\% on Mistral-7B (+2.3\%), demonstrating the effectiveness of TC-LoRA in LLM adaptation.
Abstract（参考訳）: 大きな言語モデル(LLM)のモノリシックな密集パラダイムの成功にもかかわらず、LoRAアダプタは小さなタスク固有のモジュールを微調整してベースモデルとマージすることで効率的なソリューションを提供する。しかし、マルチタスク設定では、不均一なソースでトレーニングされたLoRAアダプタをマージすると、しばしば \textit{task interference} が発生し、下流のパフォーマンスが低下する。そこで本研究では,タスク干渉に対処するため,Turorized Clustered LoRA (TC-LoRA) ライブラリを提案する。 textit{text-level}では、トレーニングサンプルを埋め込みスペースにクラスタ化し、入力フォーマットの類似性をキャプチャし、各クラスタに対して特殊なLoRAアダプタをトレーニングします。 textit{parameter-level}では、LoRAアダプタをまたいだタスク固有および共有要因をアンハングルするCP(Canonical Polyadic)分解を導入する。この連関分解は、タスク間の干渉を減らしながら重要な知識を保っている。ドメイン外ゼロショットとスキル構成タスク(推論、質問応答、コーディングを含む)に関する大規模な実験。強力なSVDベースのベースラインと比較して、TC-LoRAはPhi-3で+1.4\%、Mistral-7Bで+2.3\%(+2.3\%)を達成し、LCM適応におけるTC-LoRAの有効性を示した。

関連論文リスト

ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [73.18867725540865]
Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
論文参考訳（メタデータ） (2025-05-24T11:01:45Z)
In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文参考訳（メタデータ） (2025-01-29T13:12:01Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering [35.54018186415654]
Low-Rank Adaptation (LoRA) は、様々なドメインに最適化された大規模言語モデル(LLM)の一般的なテクニックとして登場した。 LoRA合成の既存の方法は、主に追加の訓練を必要とするタスク固有の適応に焦点を当てている。本稿では,LoRAにおける各ランクに対応するパラメータが独立単位として機能する最小意味単位(MSU)の概念を紹介する。我々は、異なるLoRAから$k$のクラスタにMSUをグループ化することで、ランクワイズパラメータクラスタリングを行うLoRA-LEGOフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-24T15:08:41Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
Mixture-of-Subspaces in Low-Rank Adaptation [19.364393031148236]
計算効率が高く,実装が容易で,大規模言語,マルチモーダル,拡散モデルにも容易に適用可能なサブスペースインスパイアされたローランド適応法(LoRA)を提案する。より柔軟にするために、元のLoRA重みとミキサーを併用して学習し、Mixture-of-Subspaces LoRAと呼ぶ。 MoSLoRAは、コモンセンス推論、ビジュアルインストラクションチューニング、主観駆動のテキスト・ツー・イメージ生成など、異なるモードのタスクでLoRAを一貫して上回っている。
論文参考訳（メタデータ） (2024-06-16T14:19:49Z)
MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
論文参考訳（メタデータ） (2024-05-19T20:46:07Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)
MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文参考訳（メタデータ） (2023-11-20T02:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。