論文の概要: BLOSSOM: Block-wise Federated Learning Over Shared and Sparse Observed Modalities
- arxiv url: http://arxiv.org/abs/2603.27552v1
- Date: Sun, 29 Mar 2026 07:25:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.02093
- Title: BLOSSOM: Block-wise Federated Learning Over Shared and Sparse Observed Modalities
- Title(参考訳): BLOSSOM: 共有されたモダリティとスパースなモダリティに関するブロック指向のフェデレーション学習
- Authors: Pranav M R, Jayant Chandwani, Ahmed M. Abdelmoniem, Arnab K. Paul,
- Abstract要約: マルチモーダル・フェデレート・ラーニング(FL)は、自律システムや医療といった現実の応用に不可欠である。
本稿では,多モードFLのためのタスク非依存フレームワークBLOSSOMについて紹介する。
BLOSSOMはフルモデルアグリゲーションよりも平均18.7%向上し、モダリティ排他的な設定では37.7%向上した。
- 参考スコア(独自算出の注目度): 6.503619764155478
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal federated learning (FL) is essential for real-world applications such as autonomous systems and healthcare, where data is distributed across heterogeneous clients with varying and often missing modalities. However, most existing FL approaches assume uniform modality availability, limiting their applicability in practice. We introduce BLOSSOM, a task-agnostic framework for multimodal FL designed to operate under shared and sparsely observed modality conditions. BLOSSOM supports clients with arbitrary modality subsets and enables flexible sharing of model components. To address client and task heterogeneity, we propose a block-wise aggregation strategy that selectively aggregates shared components while keeping task-specific blocks private, enabling partial personalization. We evaluate BLOSSOM on multiple diverse multimodal datasets and analyse the effects of missing modalities and personalization. Our results show that block-wise personalization significantly improves performance, particularly in settings with severe modality sparsity. In modality-incomplete scenarios, BLOSSOM achieves an average performance gain of 18.7% over full-model aggregation, while in modality-exclusive settings the gain increases to 37.7%, highlighting the importance of block-wise learning for practical multimodal FL systems.
- Abstract(参考訳): マルチモーダル・フェデレート・ラーニング(FL)は、自律システムや医療といった現実世界のアプリケーションでは不可欠である。
しかし、既存のFLアプローチの多くは、一様モジュラリティの可用性を前提としており、実際に適用可能であることを制限している。
本稿では,多モードFLのタスク非依存フレームワークBLOSSOMについて紹介する。
BLOSSOMは任意のモダリティサブセットを持つクライアントをサポートし、モデルコンポーネントのフレキシブルな共有を可能にする。
クライアントとタスクの不均一性に対処するために,タスク固有のブロックをプライベートに保ちながら,共有コンポーネントを選択的に集約するブロックワイドアグリゲーション戦略を提案する。
BLOSSOMを多種多様なマルチモーダルデータセット上で評価し、欠落したモダリティとパーソナライゼーションの効果を分析する。
以上の結果から,ブロックワイドのパーソナライゼーションは,特に重度のモダリティ間隔の設定において,性能を著しく向上することが示された。
モダリティ非完全シナリオでは、BLOSSOMはフルモデルアグリゲーションよりも平均18.7%向上し、モダリティ排他的な設定では37.7%向上し、実用的なマルチモーダルFLシステムにおけるブロックワイズ学習の重要性を強調している。
関連論文リスト
- TSEmbed: Unlocking Task Scaling in Universal Multimodal Embeddings [26.532942920392376]
TSEmbedは、Mixture-of-Experts (MoE)とLo-Rank Adaptation (LoRA)を相乗化する汎用マルチモーダル埋め込みフレームワークである。
本稿では、専門的なルーティング分布を意味的類似性のための固有のプロキシとして活用する新しい戦略であるEANS(Expert-Aware Negative Smpling)を紹介する。
論文 参考訳(メタデータ) (2026-03-05T03:43:52Z) - Not All Clients Are Equal: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients [59.52341877720199]
計算コストを伴わずに異種アーキテクチャ間の知識共有を可能にするFedMosaicを提案する。
実世界のタスクの多様性を模倣するために,40の異なるタスクにまたがるマルチモーダルPFLベンチマークを提案する。
実証研究は、FedMosaicが最先端のPFL法より優れていることを示している。
論文 参考訳(メタデータ) (2025-05-20T09:17:07Z) - FedEPA: Enhancing Personalization and Modality Alignment in Multimodal Federated Learning [9.531634844824596]
フェデレートラーニング(FL)は、プライバシを保持しながら、複数のパーティで分散モデルトレーニングを可能にする。
ほとんどのFLシステムは、クライアントが非リアルタイムデータのみを保持し、実際の適用性を制限していると仮定している。
マルチモーダル学習のための新しいFLフレームワークであるFedEPAを提案する。
論文 参考訳(メタデータ) (2025-04-16T12:32:37Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-18T16:14:59Z) - U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。
我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。
実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-05-24T08:58:48Z) - Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。
具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。
マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文 参考訳(メタデータ) (2024-05-18T12:16:01Z) - Cross-Modal Prototype based Multimodal Federated Learning under Severely Missing Modality [28.90486547668949]
MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。
MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。
本手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
論文 参考訳(メタデータ) (2024-01-25T02:25:23Z) - Overcome Modal Bias in Multi-modal Federated Learning via Balanced Modality Selection [19.284989473603627]
マルチモーダル学習(MFL)のための新しいバランスモード選択フレームワークを提案する。
特定の単一モードの局所的なトレーニングは、すべての局所的なモダリティのトレーニングよりも、グローバルなモデルに寄与する可能性があることを示す。
オーディオ・ビジュアル・カラーグレー・フロントバック・データセットに関する実験は,ベースラインよりもBMSFの方が優れていることを示す。
論文 参考訳(メタデータ) (2023-12-31T05:37:27Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。