論文の概要: FediLoRA: Heterogeneous LoRA for Federated Multimodal Fine-tuning under Missing Modalities
- arxiv url: http://arxiv.org/abs/2509.06984v2
- Date: Tue, 23 Sep 2025 04:55:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 18:29:14.521531
- Title: FediLoRA: Heterogeneous LoRA for Federated Multimodal Fine-tuning under Missing Modalities
- Title（参考訳）: FediLoRA:Federated Multimodal Fine-tuningのための不均一なLoRA
- Authors: Lishan Yang, Wei Emma Zhang, Nam Kha Nguygen, Po Hu, Yanjun Shu, Weitong Chen, Mong Yuan Sim,
- Abstract要約: FediLoRAは、不均一なLoRAランクと欠落したモダリティの下で、連邦化されたマルチモーダル微調整のためのフレームワークである。
グローバルな設定とパーソナライズされた設定の両方において、競争上のベースラインよりも優れたパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 9.507134068207597
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Foundation models have demonstrated remarkable performance across a wide range of tasks, yet their large parameter sizes pose challenges for practical deployment, especially in decentralized environments. Parameter-efficient fine-tuning (PEFT), such as Low-Rank Adaptation (LoRA), reduces local computing and memory overhead, making it attractive for federated learning. However, existing federated LoRA methods typically assume uniform rank configurations and unimodal inputs, overlooking two key real-world challenges: (1) heterogeneous client resources have different LoRA ranks, and (2) multimodal data settings with potentially missing modalities. In this work, we propose FediLoRA, a simple yet effective framework for federated multimodal fine-tuning under heterogeneous LoRA ranks and missing modalities. FediLoRA introduces a dimension-wise aggregation strategy that reweights LoRA updates without information dilution during aggregation. It also includes a lightweight layer-wise model editing method that selectively incorporates global parameters to repair local components which improves both client and global model performances. Experimental results on three multimodal benchmark datasets demonstrate that FediLoRA achieves superior performance over competitive baselines in both global and personalized settings, particularly in the presence of modality incompleteness.
- Abstract（参考訳）: ファンデーションモデルは、広範囲のタスクで顕著なパフォーマンスを示してきたが、その大きなパラメータサイズは、特に分散化された環境において、実践的なデプロイメントに課題をもたらしている。
Low-Rank Adaptation (LoRA)のようなパラメータ効率のよい微調整(PEFT)は、ローカルコンピューティングとメモリオーバーヘッドを低減し、フェデレーション学習にとって魅力的なものとなる。
しかし,既存のフェデレートLoRA手法では,(1)異種クライアントリソースがLoRAのランクが異なること,(2)モダリティが欠落する可能性のあるマルチモーダルデータ設定という2つの主要な現実的課題を克服して,均一なランク設定と一様入力を前提としている。
本研究では、不均一なLoRAランクと欠落モードの下でのフェデレーション多重モーダル微調整のための、シンプルで効果的なフレームワークであるFediLoRAを提案する。
FediLoRAは、アグリゲーション中に情報の希釈なしにLoRA更新を再重み付けする、次元的なアグリゲーション戦略を導入している。
また、グローバルパラメータを選択的に組み込んでローカルコンポーネントを修復し、クライアントとグローバル両方のモデルパフォーマンスを改善する軽量なレイヤワイドモデル編集手法も備えている。
3つのマルチモーダルベンチマークデータセットの実験結果から、FediLoRAは、グローバルおよびパーソナライズされた設定の両方において、特にモダリティの不完全性の存在下で、競争ベースラインよりも優れたパフォーマンスを達成することが示された。
関連論文リスト
- AutoLoRA: Automatic LoRA Retrieval and Fine-Grained Gated Fusion for Text-to-Image Generation [32.46570968627392]
低ランク適応(LoRA)は、最小パラメータオーバーヘッドでモデルのカスタマイズを可能にする効果を実証している。
意味駆動型LoRA検索と動的アグリゲーションを可能にする新しいフレームワークを提案する。
提案手法は画像生成のパーフェマンスを大幅に改善する。
論文 参考訳（メタデータ） (2025-08-04T06:36:00Z) - Resource-Efficient Federated Fine-Tuning Large Language Models for Heterogeneous Data [16.844142562389443]
フェデレートラーニング(Federated Learning)、すなわちフェデレーションラーニング(FedLLM)を通じて、さまざまな下流アプリケーションにLLMをプライバシ保護方式で適応させるための微調整大型言語モデル(LLM)が提案されている。
資源制約装置の微調整コストを低減するため、FedLLMにローランク適応(LoRA)を統合することにより、モデルパラメータの小さなサブセットのみを微調整することを提案した。
本稿では、これらの課題に対処するため、階層的なFedLoRAフレームワークであるHierFedLoRAを提案する。
論文 参考訳（メタデータ） (2025-03-27T07:05:22Z) - FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA [5.162783756846019]
ファインチューニングされた大型言語モデル(LLM)は、プライバシ保護の適応を可能にするが、モデルアグリゲーションによるクロスクライアント干渉に悩まされる。
我々は,新しいパーソナライズされたLoRAファインチューニングアルゴリズムである textbfFedALT を提案する。
我々は、FedALTが、最先端のパーソナライズされたLoRAファインチューニング手法を著しく上回っていることを実証した。
論文 参考訳（メタデータ） (2025-03-14T21:07:46Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z) - Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。
各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。
様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文 参考訳（メタデータ） (2024-02-24T20:15:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。