論文の概要: FedTaste: Topology-Aware Structural Transfer for Multimodal Federated Learning with Missing Modalities

• arxiv url: http://arxiv.org/abs/2607.23245v1
• Date: Sat, 25 Jul 2026 15:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.038948
• Title: FedTaste: Topology-Aware Structural Transfer for Multimodal Federated Learning with Missing Modalities
• Title（参考訳）: FedTaste: モダリティを欠くマルチモーダル・フェデレーション学習のためのトポロジーを考慮した構造伝達
• Authors: Haochen Liang, Jie Zhang, Hideya Ochiai,
• Abstract要約: FedTasteはマルチモーダルフェデレートラーニングにおけるトポロジを考慮した構造伝達のためのパラメータ効率のよいフレームワークである。 モダリティを欠くクライアントに適応するために,モダリティ適応型構造プロンプトを導入する。 このように、FedTasteはクライアント間で共有セマンティック構造を保持しながら、明示的なモダリティ計算を避けます。
• 参考スコア（独自算出の注目度）: 7.015345209610299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Federated Learning is often challenged by arbitrary modality missingness and Non-IID data distributions, which lead to severe representation drift and hinder effective collaboration across clients. Existing methods typically rely on generative imputation, external auxiliary data, or isolated unimodal training to bridge modality gaps, often incurring substantial communication and computational costs as well as potential privacy risks. To address these limitations, we propose FedTaste, a parameter-efficient framework for topology-aware structural transfer in Multimodal Federated Learning with missing modalities. Instead of aligning fragile first-order features, FedTaste focuses on more stable group-level semantic relations. Specifically, FedTaste leverages frozen foundation models to extract a joint multimodal topology from full-modality clients, which is then consolidated by the server into a global structural blueprint. To adapt clients with missing modalities, we introduce Modality-Adaptive Structural Prompts together with spectral consistency regularization, enabling lightweight branch-specific adaptation that aligns local partial representations with the shared blueprint. In this way, FedTaste avoids explicit modality imputation while preserving shared semantic structure across clients. Extensive experiments demonstrate that FedTaste consistently achieves superior performance across multiple datasets and challenging Non-IID settings, while substantially reducing communication overhead compared with existing methods.
• Abstract（参考訳）: マルチモーダル・フェデレート・ラーニングは、任意のモダリティの欠如と非IIDデータ分散によってしばしば挑戦される。 既存の手法は、通常、生成的計算、外部補助データ、またはモダリティギャップを橋渡しするための孤立した一助訓練に頼り、しばしばかなりの通信と計算コストと潜在的なプライバシーリスクを引き起こす。 これらの制約に対処するため,マルチモーダル・フェデレート・ラーニングにおけるトポロジを考慮した構造伝達のためのパラメータ効率のよいフレームワークであるFedTasteを提案する。 脆弱なファーストオーダー機能を調整する代わりに、FedTasteはより安定したグループレベルのセマンティックリレーションにフォーカスしている。 具体的には、FedTasteは凍結基盤モデルを利用して、フルモダリティクライアントからジョイントマルチモーダルトポロジーを抽出し、サーバによってグローバルな構造的青写真へと統合する。 クライアントにモダリティを欠くよう、スペクトル整合正則化とともにModality-Adaptive Structure Promptを導入し、局所部分表現を共有青写真と整合させる軽量な分岐固有適応を実現する。 このように、FedTasteはクライアント間で共有セマンティック構造を保持しながら、明示的なモダリティ計算を避けます。 大規模な実験では、FedTasteは複数のデータセットにまたがる優れたパフォーマンスを一貫して達成し、既存の方法と比較して通信オーバーヘッドを大幅に削減しつつ、非IID設定に挑戦している。

関連論文リスト

• Boosting Multimodal Federated Learning via Chained Modality Optimization [69.53075328069504]
  MMFL(Multimodal Federated Learning)は、異種データとモダリティ可用性を備えた分散クライアント間での、プライバシ保護による協調学習を実現する。 これを解決するために,FedMChainを提案する。FedMChainは,多モード学習をモダリティの連鎖として構成する,バランスのとれたMMFLフレームワークである。 このフェーズワイズ設計により、各モダリティは、モダリティ競合を軽減するために、マルチモーダルクライアントに専用の局所最適化ウィンドウを与え、さらにエラー補償正規化器を介して、モダリティ間の相補性を促進する。
  論文  参考訳（メタデータ） (2026-06-01T08:07:09Z)
• Towards Robust Federated Multimodal Graph Learning under Modality Heterogeneity [49.44748281840733]
  実世界のグラフは、複数のパーティにまたがるデータ共有の制限のために、しばしば分離される。 我々は、トポロジ対応のクロスモーダル生成を利用して、欠落した特徴を復元する scFedMPO を提案する。 6つのデータセットにわたる3つのタスクの実験は、FedMPOがベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T17:30:15Z)
• PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
  ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。 最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T14:04:53Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• Federated Prompt-Tuning with Heterogeneous and Incomplete Multimodal Client Data [22.933465523798475]
  本稿では,フェデレートラーニングとマルチモーダル・プロンプトチューニングのギャップを埋める。 この設定における重要な課題は、プロンプトインストラクション間のセマンティックアライメントの欠如から生じる。 我々のフレームワークは、プロンプトチューニング命令を同時に最適化し、調整し、集約する特別なクライアントチューニングとサーバアグリゲーションの設計を導入している。
  論文  参考訳（メタデータ） (2026-02-06T03:53:35Z)
• Federated Multi-Task Clustering [44.73672172790804]
  本稿では,Federated Multi-Task Clustering(FMTC)という新しいフレームワークを提案する。 クライアント側パーソナライズされたクラスタリングモジュールとサーバ側テンソル相関モジュールの2つの主要コンポーネントで構成されている。 乗算器の交互方向法に基づく,効率的なプライバシ保護分散アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-12-28T12:02:32Z)
• Towards Federated Clustering: A Client-wise Private Graph Aggregation Framework [57.04850867402913]
  フェデレーションクラスタリングは、分散化されたラベルのないデータからパターンを抽出する課題に対処する。 本研究では,プライバシ保護のための知識共有媒体として,局所構造グラフを革新的に活用する新しいアルゴリズムSPP-FGCを提案する。 我々のフレームワークは最先端のパフォーマンスを実現し、認証可能なプライバシー保証を維持しつつ、フェデレーションベースラインよりも最大10%(NMI)のクラスタリング精度を向上させる。
  論文  参考訳（メタデータ） (2025-11-14T03:05:22Z)
• FedRSClip: Federated Learning for Remote Sensing Scene Classification Using Vision-Language Models [23.830133838392964]
  本稿では,VLM,特にCLIPに基づくリモートセンシング画像分類のための最初のフェデレーション学習フレームワークであるFedRSCLIPを提案する。 FedRSCLIPは、Prompt Learningを導入することで、フェデレーション環境におけるデータ不均一性と大規模モデル伝送の課題に対処する。 提案モデルの有効性を検証するため,既存の3つのリモートセンシング画像分類データセットに基づいてFed-RSICデータセットを構築した。
  論文  参考訳（メタデータ） (2025-01-05T07:10:27Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。