論文の概要: FedUMM: A General Framework for Federated Learning with Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2601.15390v1
• Date: Wed, 21 Jan 2026 19:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.385462
• Title: FedUMM: A General Framework for Federated Learning with Unified Multimodal Models
• Title（参考訳）: FedUMM: 統一マルチモーダルモデルによるフェデレーション学習のための汎用フレームワーク
• Authors: Zhaolong Su, Leheng Zhao, Xiaoying Wu, Ziyue Xu, Jindong Wang,
• Abstract要約: 統一マルチモーダルモデル(UMM)は、単一のアーキテクチャにおけるタスクの生成と理解の両方が可能な強力な基盤モデルとして出現している。 We present FedUMM, a general federated learning framework for UMMs under non-IID multimodal data with low communication cost。
• 参考スコア（独自算出の注目度）: 11.0627306160262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) are emerging as strong foundation models that can do both generation and understanding tasks in a single architecture. However, they are typically trained in centralized settings where all training and downstream datasets are gathered in a central server, limiting the deployment in privacy-sensitive and geographically distributed scenarios. In this paper, we present FedUMM, a general federated learning framework for UMMs under non-IID multimodal data with low communication cost. Built on NVIDIA FLARE, FedUMM instantiates federation for a BLIP3o backbone via parameter-efficient fine-tuning: clients train lightweight LoRA adapters while freezing the foundation models, and the server aggregates only adapter updates. We evaluate on VQA v2 and the GenEval compositional generation benchmarks under Dirichlet-controlled heterogeneity with up to 16 clients. Results show slight degradation as client count and heterogeneity increase, while remaining competitive with centralized training. We further analyze computation--communication trade-offs and demonstrate that adapter-only federation reduces per-round communication by over an order of magnitude compared to full fine-tuning, enabling practical federated UMM training. This work provides empirical experience for future research on privacy-preserving federated unified multimodal models.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、単一のアーキテクチャにおけるタスクの生成と理解の両方が可能な強力な基盤モデルとして出現している。 しかしながら、一般的にトレーニングは、すべてのトレーニングとダウンストリームデータセットが中央サーバに収集される集中的な環境で行われ、プライバシに敏感で地理的に分散したシナリオへのデプロイメントが制限される。 本稿では,非IIDマルチモーダルデータに基づくUMMのための汎用学習フレームワークであるFedUMMを提案する。 NVIDIA FLARE上に構築されたFedUMMは、パラメータ効率のよい微調整を通じてBLIP3oバックボーンのフェデレーションをインスタンス化する。 VQA v2とGenEval合成生成ベンチマークを最大16クライアントでディリクレ制御した不均一性の下で評価した。 その結果, クライアント数の増加と不均一性の増加とともに, 集中トレーニングと競合する傾向がみられた。 さらに、計算通信のトレードオフを分析し、アダプタのみのフェデレーションにより、フル微調整に比べて、ラウンドごとの通信が桁違いに減少し、実用的なUMMトレーニングが可能になることを実証する。 この研究は、プライバシー保護フェデレートされた統合マルチモーダルモデルに関する将来の研究に実証的な経験を提供する。

関連論文リスト

• Distributed Federated Learning by Alternating Periods of Training [0.0]
  フェデレーション学習(Federated Learning)は、マシンラーニングに対するプライバシ重視のアプローチであり、モデルがローカルに利用可能なデータを持つクライアントデバイス上でトレーニングされ、中央サーバに集約される。 サーバ間通信機能を備えた複数サーバからなるフェデレーション学習のための分散学習手法を提案する。 そこで本研究では,クライアントデータ上でのローカルトレーニングとサーバ間のグローバルトレーニングを交互に行うDFL(Distributed Federated Learning)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-05T05:06:58Z)
• Federated Gaussian Mixture Models [0.0]
  FedGenGMMは、教師なし学習シナリオのための新しいワンショットのフェデレーション学習アプローチである。 クライアントデバイス上で独立してトレーニングされたローカルGMMモデルは、単一の通信ラウンドを通じて集約される。 非フェデレーションおよび反復フェデレーションメソッドに匹敵するパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-06-02T15:23:53Z)
• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
  フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。 既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。 マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-02-17T14:17:44Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
  本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。 フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。 本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
  論文  参考訳（メタデータ） (2022-06-03T02:21:01Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。