論文の概要: FOCoOp: Enhancing Out-of-Distribution Robustness in Federated Prompt Learning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2506.16218v1
• Date: Thu, 19 Jun 2025 11:16:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.041849
• Title: FOCoOp: Enhancing Out-of-Distribution Robustness in Federated Prompt Learning for Vision-Language Models
• Title（参考訳）: FOCoOp:ビジョンランゲージモデルのためのフェデレーション・プロンプト学習におけるアウト・オブ・ディストリビューションのロバスト性向上
• Authors: Xinting Liao, Weiming Liu, Jiaming Qian, Pengyang Zhou, Jiahe Xu, Wenjie Wang, Chaochao Chen, Xiaolin Zheng, Tat-Seng Chua,
• Abstract要約: ビジョン言語モデルのためのフェデレーション・プロンプト・ラーニング(FPL)は、分散クライアント間でモデルを協調的に適応するための強力なアプローチである。 既存のFPLアプローチは、特にアウト・オブ・ディストリビューション(OOD)シフトにおいて、パフォーマンスと堅牢性の間のトレードオフに悩まされる。 我々は、クライアント間の多様な分散をキャプチャするFederated OOD-aware Context Optimization (FOCoOp)フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 56.31350619667909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated prompt learning (FPL) for vision-language models is a powerful approach to collaboratively adapt models across distributed clients while preserving data privacy. However, existing FPL approaches suffer from a trade-off between performance and robustness, particularly in out-of-distribution (OOD) shifts, limiting their reliability in real-world scenarios. The inherent in-distribution (ID) data heterogeneity among different clients makes it more challenging to maintain this trade-off. To fill this gap, we introduce a Federated OOD-aware Context Optimization (FOCoOp) framework, which captures diverse distributions among clients using ID global prompts, local prompts, and OOD prompts. Specifically, FOCoOp leverages three sets of prompts to create both class-level and distribution-level separations, which adapt to OOD shifts through bi-level distributionally robust optimization. Additionally, FOCoOp improves the discrimination consistency among clients, i.e., calibrating global prompts, seemingly OOD prompts, and OOD prompts by semi-unbalanced optimal transport. The extensive experiments on real-world datasets demonstrate that FOCoOp effectively captures decentralized heterogeneous distributions and enhances robustness of different OOD shifts. The project is available at GitHub.
• Abstract（参考訳）: ビジョン言語モデルのためのフェデレーション・プロンプト・ラーニング(FPL)は、データプライバシを保持しながら、分散クライアント全体にわたってモデルを協調的に適応するための強力なアプローチである。 しかし、既存のFPLアプローチは、特にアウト・オブ・ディストリビューション(OOD)シフトにおいて、パフォーマンスと堅牢性の間のトレードオフに悩まされ、現実のシナリオにおける信頼性が制限されます。 異なるクライアント間の固有のID(In-distriion)データの不均一性により、このトレードオフを維持することがより困難になります。 このギャップを埋めるために、IDグローバルプロンプト、ローカルプロンプト、OODプロンプトを使用してクライアント間の多様な分散をキャプチャするFederated OOD-aware Context Optimization (FOCoOp)フレームワークを導入する。 具体的には、FOCoOpは3つのプロンプトを活用して、クラスレベルと分散レベルの両方の分離を生成し、OODシフトに適応する。 さらに、FOCoOpはクライアント間の差別一貫性、すなわちグローバルプロンプトの校正、OODプロンプトのように見えるOODプロンプト、および半不均衡な最適トランスポートによるOODプロンプトを改善する。 実世界のデータセットに関する広範な実験は、FOCoOpが分散した異種分布を効果的に捉え、異なるOODシフトの堅牢性を高めることを示した。 プロジェクトはGitHubで入手できる。

関連論文リスト

• Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation [1.519321208145928]
  Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。 クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。 本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T16:22:37Z)
• Achieving Fairness Across Local and Global Models in Federated Learning [9.902848777262918]
  本研究は,フェデレート学習環境における局所的およびグローバル的公正性を高めるために設計された,新しいアプローチであるtextttEquiFLを紹介する。 textttEquiFLは、フェアネスという用語を局所最適化の目的に取り入れ、局所的なパフォーマンスとフェアネスを効果的にバランスさせる。 textttEquiFLは、各クライアントにおいて、精度と公平性のバランスが良くなるだけでなく、グローバル公正性も達成できることを示す。
  論文  参考訳（メタデータ） (2024-06-24T19:42:16Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Global and Local Prompts Cooperation via Optimal Transport for Federated Learning [13.652593797756774]
  本稿では,FedOTP(Federated Prompts Cooperation via Optimal Transport)を提案する。 具体的には、各クライアントに対して、クライアント間のコンセンサス知識を抽出するグローバルなプロンプトと、クライアント固有のカテゴリ特性をキャプチャするローカルなプロンプトを学習する。 不均衡な最適輸送は、これらのプロンプトと局所的な視覚的特徴を整合させるために使用され、グローバルなコンセンサスと局所的なパーソナライゼーションのバランスを損なう。
  論文  参考訳（メタデータ） (2024-02-29T11:43:04Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Scaff-PD: Communication Efficient Fair and Robust Federated Learning [92.61502701658732]
  Scaff-PDは、分散的堅牢なフェデレーション学習のための高速で通信効率のよいアルゴリズムである。 この結果から,Scaff-PDは資源制約や不均一な環境下でのフェデレーション学習において有望なアプローチであることが示唆された。
  論文  参考訳（メタデータ） (2023-07-25T10:04:33Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。