論文の概要: Can LoRA Fusion Support Cross-Domain Tasks in Cloud-Edge Collaboration?

• arxiv url: http://arxiv.org/abs/2605.23913v1
• Date: Thu, 09 Apr 2026 03:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.45908
• Title: Can LoRA Fusion Support Cross-Domain Tasks in Cloud-Edge Collaboration?
• Title（参考訳）: LoRA Fusionはクラウドエッジコラボレーションにおいてクロスドメインタスクをサポートできるか?
• Authors: Yatong Wang, Fali Wang, Naibin Gu, Zheng Lin, Zhengxiao Liu, Dingyu Yao, Zhiwei Zhang, Jianxin Shi, Weiping Wang,
• Abstract要約: クラウドホスト型大規模言語モデル(LLM)は一般的にドメイン適応にLoRAに依存している。 ドメインデータは複数のエッジデバイスに分散しており、プライバシの制約によりアップロードできない。 本稿では,プライバシ保護クラウド統合とプルーニングモデルを用いたローカルLoRAトレーニングを実現するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.17482140078702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cloud-hosted large language models (LLMs) commonly rely on LoRA for domain adaptation, yet domain data are distributed across multiple edge devices and cannot be uploaded due to privacy constraints. This raises a fundamental question: how can knowledge from multiple private edges be integrated into a cloud LLM for cross-domain problem solving? A natural solution is to train LoRA adapters locally and fuse them in the cloud; however, existing pipelines rely on unrealistic assumptions that edge devices can host cloud-scale LLMs and are evaluated mainly on single-domain tasks. To address these limitations, we propose a prune-train-recover framework that enables local LoRA training on pruned models and privacy-preserving cloud integration. We further introduce MMLU-CD, a cross-domain benchmark that composes multiple domain samples into a single instance, enabling explicit evaluation of cross-domain problem solving. This allows us to ask a concrete question: Can existing LoRA fusion methods support cross-domain tasks in cloud-edge collaboration? Our empirical answer is negative. Existing LoRA fusion methods perform poorly on MMLU-CD, often underperforming the base LLM, revealing their inability to support cross-domain problem solving. We attribute this failure to parameter conflicts among LoRA adapters and propose a simple conflict-resolution module, LoRA-CR, which mitigates conflicting updates and improves LoRA fusion performance by up to 3.8%. These results identify conflict mitigation as a critical yet largely overlooked factor in cloud-edge LoRA fusion, warranting further investigation in future research.
• Abstract（参考訳）: クラウドホスト型大規模言語モデル(LLM)はドメイン適応にLoRAに依存することが多いが、ドメインデータは複数のエッジデバイスに分散しており、プライバシの制約によりアップロードできない。 複数のプライベートエッジからの知識をクラウド LLM に統合して,ドメイン間の問題解決を実現するにはどうすればよいのか? 自然な解決策はローカルでLoRAアダプタを訓練してクラウドに融合することだが、既存のパイプラインはエッジデバイスがクラウドスケールのLCMをホストできるという非現実的な仮定に依存しており、主に単一ドメインタスクで評価されている。 これらの制約に対処するため,我々はプルーニングモデルのローカルLoRAトレーニングとプライバシ保護クラウド統合を可能にするPrune-train-recoverフレームワークを提案する。 さらに、複数のドメインサンプルを単一のインスタンスに構成するクロスドメインベンチマークであるMMLU-CDを導入し、クロスドメイン問題解決の明示的な評価を可能にした。 既存のLoRA融合メソッドは、クラウドとエッジのコラボレーションにおいて、クロスドメインタスクをサポートできますか? 私たちの経験的答えは否定的です。 既存の LoRA 融合法は MMLU-CD では性能が悪く、しばしばベース LLM では性能が劣る。 この失敗は、LoRAアダプタ間のパラメータの衝突によるものであり、競合する更新を軽減し、LoRA融合性能を最大3.8%改善するシンプルな競合解決モジュールであるLoRA-CRを提案する。 これらの結果は、紛争の緩和がクラウド・エッジのLoRA融合における決定的かつ概ね見過ごされる要因であり、将来の研究のさらなる研究を保証している。

関連論文リスト

• WeaveRec: An LLM-Based Cross-Domain Sequential Recommendation Framework with Model Merging [24.949880939628386]
  WeaveRecは、複数のLoRAモジュールにソースとターゲットのドメインデータをウィービング形式で相互にトレーニングする。 WeaveRecは、ターゲットドメインにおける期待されるエラーの上限を下げることができるという理論的な保証を提供する。
  論文  参考訳（メタデータ） (2025-10-30T14:37:15Z)
• Tensorized Clustered LoRA Merging for Multi-Task Interference [29.488565631016332]
  マルチタスク設定では、ヘテロジニアスソースでトレーニングされたLoRAアダプタをマージすると、しばしばtextittaskの干渉が発生し、下流のパフォーマンスが低下する。 本稿では,タスクの干渉に対処するために,テンソル化されたクラスタ化LoRAライブラリを提案する。 TC-LoRAはPhi-3で+1.4%、Mistral-7Bで+2.3%の精度を達成し、LCM適応におけるTC-LoRAの有効性を示した。
  論文  参考訳（メタデータ） (2025-08-06T01:26:43Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。