論文の概要: Federated Prompt-Tuning with Heterogeneous and Incomplete Multimodal Client Data

• arxiv url: http://arxiv.org/abs/2602.07081v1
• Date: Fri, 06 Feb 2026 03:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.430969
• Title: Federated Prompt-Tuning with Heterogeneous and Incomplete Multimodal Client Data
• Title（参考訳）: 不均一かつ不完全なマルチモーダルクライアントデータによるフェデレートプロンプトチューニング
• Authors: Thu Hang Phung, Duong M. Nguyen, Thanh Trung Huynh, Quoc Viet Hung Nguyen, Trong Nghia Hoang, Phi Le Nguyen,
• Abstract要約: 本稿では,フェデレートラーニングとマルチモーダル・プロンプトチューニングのギャップを埋める。 この設定における重要な課題は、プロンプトインストラクション間のセマンティックアライメントの欠如から生じる。 我々のフレームワークは、プロンプトチューニング命令を同時に最適化し、調整し、集約する特別なクライアントチューニングとサーバアグリゲーションの設計を導入している。
• 参考スコア（独自算出の注目度）: 22.933465523798475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a generalized federated prompt-tuning framework for practical scenarios where local datasets are multi-modal and exhibit different distributional patterns of missing features at the input level. The proposed framework bridges the gap between federated learning and multi-modal prompt-tuning which have traditionally focused on either uni-modal or centralized data. A key challenge in this setting arises from the lack of semantic alignment between prompt instructions that encode similar distributional patterns of missing data across different clients. To address this, our framework introduces specialized client-tuning and server-aggregation designs that simultaneously optimize, align, and aggregate prompt-tuning instructions across clients and data modalities. This allows prompt instructions to complement one another and be combined effectively. Extensive evaluations on diverse multimodal benchmark datasets demonstrate that our work consistently outperforms state-of-the-art (SOTA) baselines.
• Abstract（参考訳）: 本稿では,ローカルデータセットがマルチモーダルであり,欠落する特徴の分布パターンが異なる実例を入力レベルで示す,汎用的なフェデレーション・プロンプトチューニング・フレームワークを提案する。 提案するフレームワークは,従来はユニモーダルデータや集中型データに重点を置いてきた,フェデレート学習とマルチモーダルプロンプトチューニングのギャップを埋めるものだ。 この設定における重要な課題は、異なるクライアント間で欠落したデータの同様の分散パターンをエンコードするプロンプト間のセマンティックアライメントの欠如から生じる。 これを解決するために、当社のフレームワークでは、クライアントとデータモダリティ間のプロンプトチューニング命令を同時に最適化、調整、集約する特別なクライアントチューニングおよびサーバ集約設計を導入しています。 これにより、プロンプト命令が互いに補完し、効果的に結合できる。 多様なマルチモーダルベンチマークデータセットに対する大規模な評価は、我々の作業が常に最先端(SOTA)ベースラインを上回っていることを示している。

関連論文リスト

• UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
  マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。 コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。 8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-12-08T05:36:14Z)
• Learning Reconfigurable Representations for Multimodal Federated Learning with Missing Data [24.083180898232417]
  学習可能なクライアント側埋め込み制御に基づく局所適応表現を特徴とする新しいフェデレート学習フレームワークを提案する。 これらの埋め込みは、グローバルに集約された表現と各クライアントのローカルコンテキストを一致させる再構成信号として機能する。 提案手法は, 厳密なデータ不完全性の下で最大36.45%の性能向上を実現する。
  論文  参考訳（メタデータ） (2025-10-27T00:09:58Z)
• Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence [83.15764564701706]
  本稿では、コーシーシュワルツの発散を相互情報と統合して視覚言語アライメントを行う新しいフレームワークを提案する。 CS分散はInfoNCEのアライメント・ユニフォーム性競合にシームレスに対処し,InfoNCEと補完的な役割を担っていることがわかった。 テキスト・画像生成およびモダリティ横断検索タスクの実験により,本手法が視覚言語アライメントに与える影響を実証した。
  論文  参考訳（メタデータ） (2025-02-24T10:29:15Z)
• Towards Personalized Federated Multi-Scenario Multi-Task Recommendation [22.095138650857436]
  PF-MSMTrecは、パーソナライズされたマルチシナリオマルチタスクレコメンデーションのための新しいフレームワークである。 複数の最適化競合の独特な課題に対処するために,ボトムアップ共同学習機構を導入する。 提案手法は最先端手法より優れている。
  論文  参考訳（メタデータ） (2024-06-27T07:10:37Z)
• Decoupled Subgraph Federated Learning [57.588938805581044]
  複数のクライアントに分散したグラフ構造化データに対するフェデレーション学習の課題に対処する。 我々は、このシナリオのための新しいフレームワーク、FedStructを紹介します。 半教師付きノード分類のための6つのデータセットを用いて実験結果を用いてFedStructの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-29T13:47:23Z)
• 3FM: Multi-modal Meta-learning for Federated Tasks [2.117841684082203]
  マルチモーダルなフェデレーションタスクに特化して設計されたメタラーニングフレームワークを提案する。 当社のアプローチは,新たなモダリティに曝露した場合に,フェデレーションモデルによる堅牢な適応を可能にする必要性に起因している。 提案アルゴリズムは,欠落したモダリティシナリオのサブセットにおいて,ベースラインよりも優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-15T20:03:24Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Preserving Modality Structure Improves Multi-Modal Learning [64.10085674834252]
  大規模マルチモーダルデータセットによる自己教師付き学習は、人間のアノテーションに頼ることなく、意味的に意味のある埋め込みを学ぶことができる。 これらの手法は、モダリティ固有の埋め込みに存在する意味構造を無視して、ドメイン外のデータをうまく一般化するのに苦労することが多い。 共同埋め込み空間におけるモダリティ特異的な関係を保ち, 一般化性を向上させるためのセマンティック・構造保存整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T20:46:48Z)
• Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
  フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。 既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。 マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-02-17T14:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。