論文の概要: TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2511.16423v1
• Date: Thu, 20 Nov 2025 14:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.677244
• Title: TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models
• Title（参考訳）: TOFA:ビジョンランゲージモデルのためのトレーニングフリーワンショットフェデレーション適応
• Authors: Li Zhang, Zhongxuan Han, XiaoHua Feng, Jiaming Zhang, Yuyuan Li, Linbo Jiang, Jianan Lin, Chaochao Chen,
• Abstract要約: 視覚言語モデル(VLM)のためのトレーニング不要なワンショットフェデレーション適応フレームワークを提案する。 事前訓練されたVLMにおける一般化可能なマルチモーダル機能を活用するため、TOFAは視覚とテキストの両方のパイプラインを使用してタスク関連表現を抽出する。 私たちのメソッドは、クライアントまたはサーバ側で追加のトレーニングリソースに頼るのではなく、トレーニングフリーです。
• 参考スコア（独自算出の注目度）: 22.360518753852162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient and lightweight adaptation of pre-trained Vision-Language Models (VLMs) to downstream tasks through collaborative interactions between local clients and a central server is a rapidly emerging research topic in federated learning. Existing adaptation algorithms are typically trained iteratively, which incur significant communication costs and increase the susceptibility to potential attacks. Motivated by the one-shot federated training techniques that reduce client-server exchanges to a single round, developing a lightweight one-shot federated VLM adaptation method to alleviate these issues is particularly attractive. However, current one-shot approaches face certain challenges in adapting VLMs within federated settings: (1) insufficient exploitation of the rich multimodal information inherent in VLMs; (2) lack of specialized adaptation strategies to systematically handle the severe data heterogeneity; and (3) requiring additional training resource of clients or server. To bridge these gaps, we propose a novel Training-free One-shot Federated Adaptation framework for VLMs, named TOFA. To fully leverage the generalizable multimodal features in pre-trained VLMs, TOFA employs both visual and textual pipelines to extract task-relevant representations. In the visual pipeline, a hierarchical Bayesian model learns personalized, class-specific prototype distributions. For the textual pipeline, TOFA evaluates and globally aligns the generated local text prompts for robustness. An adaptive weight calibration mechanism is also introduced to combine predictions from both modalities, balancing personalization and robustness to handle data heterogeneity. Our method is training-free, not relying on additional training resources on either the client or server side. Extensive experiments across 9 datasets in various federated settings demonstrate the effectiveness of the proposed TOFA method.
• Abstract（参考訳）: ローカルクライアントと中央サーバの連携による下流タスクへの事前学習型ビジョン・ランゲージ・モデル(VLM)の効率的かつ軽量な適応は、フェデレートラーニングにおける新たな研究課題である。 既存の適応アルゴリズムは、通常反復的に訓練され、通信コストが大きくなり、潜在的な攻撃に対する感受性が高まる。 クライアントとサーバの交換を1ラウンドに減らすワンショットフェデレーショントレーニング技術によって動機付けられ、これらの問題を緩和するための軽量なワンショットフェデレーションVLM適応手法を開発することは、特に魅力的である。 しかしながら、現在のワンショットアプローチでは、(1)VLM固有のリッチマルチモーダル情報の不十分な活用、(2)重大データの不均一性を体系的に扱うための特別な適応戦略の欠如、(3)クライアントやサーバのトレーニングリソースの追加、といった、フェデレーション環境でのVLMの適用において、ある種の課題に直面している。 これらのギャップを埋めるために,TOFA という名称の VLM のための新しいトレーニングフリーワンショットフェデレート適応フレームワークを提案する。 事前訓練されたVLMにおける一般化可能なマルチモーダル機能を完全に活用するために、TOFAは視覚とテキストの両方のパイプラインを使用してタスク関連表現を抽出する。 ビジュアルパイプラインでは、階層的ベイズモデルがパーソナライズされたクラス固有のプロトタイプ分布を学習する。 テキストパイプラインでは、TOFAは生成されたローカルテキストプロンプトを評価し、グローバルにコーディネートする。 また、データ不均一性を扱うためにパーソナライゼーションとロバスト性のバランスをとることで、モダリティの両方からの予測を組み合わせるために、適応的な重み校正機構も導入されている。 私たちのメソッドは、クライアントまたはサーバ側で追加のトレーニングリソースに頼るのではなく、トレーニングフリーです。 各種フェデレーション設定における9つのデータセットにわたる大規模な実験により,提案手法の有効性が示された。

関連論文リスト

• Personalized Federated Learning via Dual-Prompt Optimization and Cross Fusion [44.8670376715096]
  フェデレートラーニング(FL)は、ローカルデータを共有せずに、分散化されたクライアント間で協調的なモデルトレーニングを可能にする。 我々は,pFedDCと呼ばれる,二重プロンプト学習と相互融合に基づくパーソナライズされたFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-26T10:59:14Z)
• FedRSClip: Federated Learning for Remote Sensing Scene Classification Using Vision-Language Models [23.830133838392964]
  本稿では,VLM,特にCLIPに基づくリモートセンシング画像分類のための最初のフェデレーション学習フレームワークであるFedRSCLIPを提案する。 FedRSCLIPは、Prompt Learningを導入することで、フェデレーション環境におけるデータ不均一性と大規模モデル伝送の課題に対処する。 提案モデルの有効性を検証するため,既存の3つのリモートセンシング画像分類データセットに基づいてFed-RSICデータセットを構築した。
  論文  参考訳（メタデータ） (2025-01-05T07:10:27Z)
• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
  我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。 実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-16T19:18:06Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
  フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。 本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。 我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
  論文  参考訳（メタデータ） (2024-03-24T07:33:08Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。