論文の概要: FedNano: Toward Lightweight Federated Tuning for Pretrained Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2506.14824v1
• Date: Thu, 12 Jun 2025 17:50:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.402451
• Title: FedNano: Toward Lightweight Federated Tuning for Pretrained Multimodal Large Language Models
• Title（参考訳）: FedNano: 事前訓練されたマルチモーダル大規模言語モデルのための軽量なフェデレーションチューニングを目指して
• Authors: Yao Zhang, Hewei Gao, Haokun Chen, Weiguo Li, Yunpu Ma, Volker Tresp,
• Abstract要約: フェデレートラーニング(FL)は、データを集中化せずに協調的なモデルトレーニングを可能にするソリューションを提供する。 既存のFLメソッドは、大規模なMLLMを分解する前提として、フルモデルのクライアント側のデプロイを前提としています。 我々は、クライアント固有の適応のための軽量モジュールであるNanoEdgeを導入しながら、サーバ上でLLMを集中化する最初のFLフレームワークであるFedNanoを提案する。
• 参考スコア（独自算出の注目度）: 29.772622964516028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) excel in tasks like multimodal reasoning and cross-modal retrieval but face deployment challenges in real-world scenarios due to distributed multimodal data and strict privacy requirements. Federated Learning (FL) offers a solution by enabling collaborative model training without centralizing data. However, realizing FL for MLLMs presents significant challenges, including high computational demands, limited client capacity, substantial communication costs, and heterogeneous client data. Existing FL methods assume client-side deployment of full models, an assumption that breaks down for large-scale MLLMs due to their massive size and communication demands. To address these limitations, we propose FedNano, the first FL framework that centralizes the LLM on the server while introducing NanoEdge, a lightweight module for client-specific adaptation. NanoEdge employs modality-specific encoders, connectors, and trainable NanoAdapters with low-rank adaptation. This design eliminates the need to deploy LLM on clients, reducing client-side storage by 95%, and limiting communication overhead to only 0.01% of the model parameters. By transmitting only compact NanoAdapter updates, FedNano handles heterogeneous client data and resource constraints while preserving privacy. Experiments demonstrate that FedNano outperforms prior FL baselines, bridging the gap between MLLM scale and FL feasibility, and enabling scalable, decentralized multimodal AI systems.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、マルチモーダル推論やクロスモーダル検索といったタスクに優れるが、分散マルチモーダルデータと厳密なプライバシ要件により、現実のシナリオにおけるデプロイ上の課題に直面している。 フェデレートラーニング(FL)は、データを集中化せずに協調的なモデルトレーニングを可能にするソリューションを提供する。 しかし、MLLMのFLを実現することは、高い計算要求、限られたクライアント容量、相当な通信コスト、不均一なクライアントデータなど、大きな課題をもたらす。 既存のFLメソッドは、巨大なサイズと通信要求のために大規模なMLLMでは、クライアント側のフルモデルのデプロイを前提としています。 これらの制限に対処するため、クライアント固有の適応のための軽量モジュールであるNanoEdgeを導入しながら、サーバ上でLLMを集中化する最初のFLフレームワークであるFedNanoを提案する。 NanoEdgeは、モダリティ固有のエンコーダ、コネクタ、低ランク適応のトレーニング可能なNanoAdapterを採用している。 この設計は、クライアントにLLMをデプロイする必要をなくし、クライアント側のストレージを95%削減し、通信オーバーヘッドをモデルパラメータの0.01%に制限する。 コンパクトなNanoAdapter更新のみを送信することで、FedNanoはプライバシを保持しながら異質なクライアントデータとリソース制約を処理する。 実験によると、FedNanoは以前のFLベースラインよりも優れており、MLLMスケールとFL実現可能性のギャップを埋め、スケーラブルで分散化されたマルチモーダルAIシステムを実現している。

関連論文リスト

• FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
  大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。 我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
  論文  参考訳（メタデータ） (2024-10-18T20:33:12Z)
• FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization [19.328216705039527]
  FedMCPはFLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法である。 我々は,PLMの最先端FLファインチューニング手法に対して,FedMCPが大幅な性能改善を実現していることを示す。
  論文  参考訳（メタデータ） (2024-08-28T04:19:47Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• FedMFS: Federated Multimodal Fusion Learning with Selective Modality Communication [11.254610576923204]
  選択的モーダル通信を用いたFedMFS(Federated Multimodal Fusion Learning)を提案する。 鍵となる考え方は、各デバイスに対するモダリティ選択基準の導入であり、(i)Shapley値解析によって測定されたモダリティの影響を重み付けし、(ii)モダリティモデルサイズを通信オーバーヘッドの指標とする。 実世界のActionSenseデータセットの実験では、FedMFSが複数のベースラインに匹敵する精度を達成し、通信オーバーヘッドを4倍に削減できることを示した。
  論文  参考訳（メタデータ） (2023-10-10T22:23:27Z)
• FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models [22.29061931122386]
  プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。 本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T16:43:14Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。