論文の概要: UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity

• arxiv url: http://arxiv.org/abs/2608.15516v1
• Date: Sun, 16 Aug 2026 04:01:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.325283
• Title: UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity
• Title（参考訳）: UniFed-VLM:多重不均一な視覚言語モデルのためのフェデレーションインストラクションチューニング
• Abstract要約: 視覚言語モデル(VLM)のための統一的な命令チューニングフレームワークUniFed-VLMを提案する。 1)Federated Compensated Subspace Aggregation (FedCSA) パラメータ効率のアダプタのサブスペース整合アグリゲーションを実行する。 複数のベンチマークデータセットで実験を行い、UniFed-VLMがより優れた平均性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 82.84279796262818
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-Language Models (VLMs) have demonstrated strong performance in multimodal understanding and generation. However, fine-tuning of VLMs typically relies on centralized data, which raises privacy concerns in certain domains (e.g. healthcare). Federated Learning (FL) provides a natural solution by enabling model training without sharing raw data. However, applying FL to VLM instruction tuning is highly challenging. VLMs have substantial parameter scales, and in real-world scenarios, clients exhibit significant heterogeneity in tasks, modalities, and model architectures. Existing methods mainly focus on simplified settings and are unable to handle such multi-dimensional heterogeneous scenarios. In this work, we study federated instruction tuning under joint heterogeneity in tasks, modalities, and model architectures. We propose UniFed-VLM, a unified federated instruction tuning framework for VLMs that addresses multiple types of heterogeneity. It consists of two key components: 1) Federated Compensated Subspace Aggregation (FedCSA), which performs subspace-aligned aggregation of parameter-efficient adapters with dynamic weighting and compensation to mitigate heterogeneity-induced conflicts; 2) Two-stage Collaborative Distillation (TCoD), which enables effective knowledge transfer across heterogeneous models via a Mutual Distillation Adapter (MDA) and a mixture-of-experts-based distillation strategy. We conduct experiments on multiple benchmark datasets, and the results show that UniFed-VLM achieves stronger average performance across diverse tasks compared with existing FL methods. The source code is available at: https://github.com/wangpengyu2004/UniFed-VLM.
• Abstract（参考訳）: VLM(Vision-Language Models)は、マルチモーダル理解と生成において強力な性能を示す。 しかしながら、VLMの微調整は典型的には集中型データに依存しており、特定のドメイン(例えば医療)におけるプライバシー上の懸念を引き起こす。 Federated Learning (FL)は、生データを共有せずにモデルトレーニングを可能にすることで、自然なソリューションを提供する。 しかし, FLをVLM命令チューニングに適用することは極めて困難である。 VLMにはかなりのパラメータスケールがあり、現実のシナリオでは、クライアントはタスク、モダリティ、モデルアーキテクチャにおいて大きな異質性を示す。 既存の手法は主に単純化された設定に重点を置いており、そのような多次元の異種シナリオを扱えない。 本研究では,タスク,モダリティ,モデルアーキテクチャにおいて,協調的不均一性の下でのフェデレーション・インストラクション・チューニングについて検討する。 複数種類の不均一性に対処するVLMのための統合型命令チューニングフレームワークUniFed-VLMを提案する。 主なコンポーネントは2つある。 1) パラメータ効率の高いアダプタのサブスペース整合アグリゲーションと動的重み付け、不均一性による競合を軽減するための補償を行うフェデレート補償部分空間アグリゲーション(FedCSA) 2)MDA(Multual Distillation Adapter)とMDA(Multual Distillation Adapter)による多種モデル間の効果的な知識伝達を可能にする2段階共同蒸留(TCoD)について検討した。 我々は,複数のベンチマークデータセットを用いて実験を行い,UniFed-VLMは既存のFL法と比較して,様々なタスクにおける平均性能を向上することを示した。 ソースコードは、https://github.com/wangpengyu 2004/UniFed-VLMで入手できる。

関連論文リスト

• HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies [83.41714103649751]
  具体的インテリジェンスモデルの開発は、高品質なロボットのデモデータへのアクセスに依存する。 異種多種多様なロボットデータを扱うための視覚言語アクションフレームワークであるHiMoE-VLAを提案する。 HiMoE-VLAは既存のVLAベースラインよりも一貫したパフォーマンス向上を示し、高い精度と堅牢な一般化を実現している。
  論文  参考訳（メタデータ） (2025-12-05T13:21:05Z)
• FedVLMBench: Benchmarking Federated Fine-Tuning of Vision-Language Models [15.102237976107645]
  VLM(Vision-Language Models)は、視覚情報とテキスト情報を統合したものである。 最近の取り組みでは、プライバシー問題に対処するために、VLMの微調整にフェデレートラーニング(FL)を導入している。 We present FedVLMBench, first systematic benchmark for federated fine-tuning of VLMs。
  論文  参考訳（メタデータ） (2025-06-11T11:52:27Z)
• Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
  実世界のマルチビューデータセットは、しばしば不均一で不完全である。 本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。 我々のRMLは自己教師型であり、正規化として下流のタスクにも適用できます。
  論文  参考訳（メタデータ） (2025-03-06T07:01:08Z)
• Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures [23.45003063073793]
  フェデレートラーニング(FL)は、生データにアクセスすることなく、大規模言語モデルの協調的な微調整を可能にする。 既存のファインチューニングへのアプローチは通常、一様モデルアーキテクチャを採用する。 データ駆動の異種モデルアーキテクチャを実現する軽量なパーソナライズFLフレームワークであるFedAMoLEを提案する。
  論文  参考訳（メタデータ） (2024-11-28T13:20:38Z)
• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning [16.120630244663452]
  One-Shot Federated Learning (OSFL)は、サーバとクライアント間の通信を1ラウンドに制限する。 FedHydraは、モデルとデータの不均一性の両方に効果的に対処するために設計された、統一された、データフリーのOSFLフレームワークである。
  論文  参考訳（メタデータ） (2024-10-28T15:20:52Z)
• Adaptive Guidance for Local Training in Heterogeneous Federated Learning [23.92461217732838]
  Heterogeneous Federated Learning (HtFL) におけるモデルの不均一性 本稿では,FedL2Gを提案する。 FedL2Gは、最先端の7つの手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-09T02:31:49Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• FedBone: Towards Large-Scale Federated Multi-Task Learning [13.835972363413884]
  現実世界のアプリケーションでは、視覚と自然言語のタスクは、高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。 既存のHFML手法は、マルチタスク最適化における勾配競合の影響を無視している。 我々はFedBoneと呼ばれる革新的なフレームワークを提案し、より優れた一般化を伴う大規模モデルの構築を可能にする。
  論文  参考訳（メタデータ） (2023-06-30T08:19:38Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。