論文の概要: ICM-Fusion: In-Context Meta-Optimized LoRA Fusion for Multi-Task Adaptation
- arxiv url: http://arxiv.org/abs/2508.04153v1
- Date: Wed, 06 Aug 2025 07:28:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.592391
- Title: ICM-Fusion: In-Context Meta-Optimized LoRA Fusion for Multi-Task Adaptation
- Title（参考訳）: ICM-Fusion:マルチタスク適応のためのインコンテキストメタ最適化 LoRA Fusion
- Authors: Yihua Shao, Xiaofeng Lin, Xinwei Long, Siyu Chen, Minxi Yan, Yang Liu, Ziyang Yan, Ao Ma, Hao Tang, Jingcai Guo,
- Abstract要約: In-Context Meta LoRA Fusion (ICM-Fusion) は、メタラーニングとインコンテキスト適応を相乗化する新しいフレームワークである。
ICM-Fusion はマルチタスクの損失を大幅に減らし,数ショットのシナリオでタスクの強化を達成できることを示す。
- 参考スコア（独自算出の注目度）: 20.328991416983175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enabling multi-task adaptation in pre-trained Low-Rank Adaptation (LoRA) models is crucial for enhancing their generalization capabilities. Most existing pre-trained LoRA fusion methods decompose weight matrices, sharing similar parameters while merging divergent ones. However, this paradigm inevitably induces inter-weight conflicts and leads to catastrophic domain forgetting. While incremental learning enables adaptation to multiple tasks, it struggles to achieve generalization in few-shot scenarios. Consequently, when the weight data follows a long-tailed distribution, it can lead to forgetting in the fused weights. To address this issue, we propose In-Context Meta LoRA Fusion (ICM-Fusion), a novel framework that synergizes meta-learning with in-context adaptation. The key innovation lies in our task vector arithmetic, which dynamically balances conflicting optimization directions across domains through learned manifold projections. ICM-Fusion obtains the optimal task vector orientation for the fused model in the latent space by adjusting the orientation of the task vectors. Subsequently, the fused LoRA is reconstructed by a self-designed Fusion VAE (F-VAE) to realize multi-task LoRA generation. We have conducted extensive experiments on visual and linguistic tasks, and the experimental results demonstrate that ICM-Fusion can be adapted to a wide range of architectural models and applied to various tasks. Compared to the current pre-trained LoRA fusion method, ICM-Fusion fused LoRA can significantly reduce the multi-tasking loss and can even achieve task enhancement in few-shot scenarios.
- Abstract（参考訳）: 事前訓練されたローランド適応(LoRA)モデルにおけるマルチタスク適応の実現は、一般化能力の向上に不可欠である。
既存のLoRA融合法は、重み行列を分解し、類似したパラメータを共有し、異なるパラメータをマージする。
しかし、このパラダイムは必然的にウェイト間紛争を引き起こし、破滅的なドメインを忘れてしまう。
漸進的な学習は複数のタスクへの適応を可能にするが、数ショットのシナリオで一般化を達成するのに苦労する。
したがって、重みデータが長い尾の分布に従うと、融合した重みを忘れてしまう可能性がある。
そこで本研究では,メタラーニングとインコンテキスト適応を併用した新しいフレームワークであるIn-Context Meta LoRA Fusion (ICM-Fusion)を提案する。
重要な革新はタスクベクトル算術であり、学習された多様体射影を通して、領域間で矛盾する最適化方向を動的にバランスさせる。
ICM-Fusionは、タスクベクトルの向きを調整することにより、潜在空間における融合モデルの最適タスクベクトル方向を求める。
その後、自設計のFusion VAE(F-VAE)により融合したLoRAを再構成し、マルチタスクのLoRA生成を実現する。
我々は視覚的・言語的なタスクについて広範な実験を行い、実験の結果、IMM-Fusionは幅広いアーキテクチャモデルに適応し、様々なタスクに適用できることが示されている。
現在の訓練済みのLoRA融合法と比較して、ICMフュージョン融合LoRAはマルチタスク損失を著しく低減し、数ショットのシナリオでタスク強化を達成できる。
関連論文リスト
- Align, Don't Divide: Revisiting the LoRA Architecture in Multi-Task Learning [20.31474646915225]
頭間類似度の高い単純化されたマルチヘッドアーキテクチャは、複雑なマルチアダプタおよびマルチヘッドシステムより優れていることを示す。
本稿では,共有アダプタ空間内でのタスク表現の整合性を明示的に損なうAlign-LoRAを提案する。
論文 参考訳（メタデータ） (2025-08-07T07:02:55Z) - MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning [18.0412262027514]
マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。
各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。
また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
論文 参考訳（メタデータ） (2025-05-28T12:32:09Z) - ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [73.18867725540865]
Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。
タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
論文 参考訳（メタデータ） (2025-05-24T11:01:45Z) - AsymLoRA: Harmonizing Data Conflicts and Commonalities in MLLMs [5.018961516699825]
AsymLoRAは、知識のモジュール化と相互調整を統一するパラメータ効率のチューニングフレームワークである。
AsymLoRAは、共通点のみを捉えたバニラLoRAと、紛争のみに焦点を当てたLoRA-MoEの両方を一貫して上回っている。
論文 参考訳（メタデータ） (2025-02-27T12:21:02Z) - A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。
LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。
マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2025-02-20T05:58:53Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。
タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。
本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
論文 参考訳（メタデータ） (2024-11-27T10:57:06Z) - MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。
MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。
このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
論文 参考訳（メタデータ） (2024-10-12T08:32:26Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z) - Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language
Models [7.966452497550907]
大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。
複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。
各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
論文 参考訳（メタデータ） (2024-03-06T03:33:48Z) - Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。
各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。
様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文 参考訳（メタデータ） (2024-02-24T20:15:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。