論文の概要: An Empirical Study of Federated Prompt Learning for Vision Language Model

• arxiv url: http://arxiv.org/abs/2505.23024v1
• Date: Thu, 29 May 2025 03:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.639014
• Title: An Empirical Study of Federated Prompt Learning for Vision Language Model
• Title（参考訳）: 視覚言語モデルのためのフェデレーション・プロンプト学習の実証的研究
• Authors: Zhihao Wang, Wenke Huang, Tian Chen, Zekun Shi, Guancheng Wan, Yu Qiao, Bin Yang, Jian Wang, Bing Li, Mang Ye,
• Abstract要約: 本稿では,言語素性学習と視覚素性学習の行動的差異を系統的に検討する。 クライアントスケールやアグリゲーション戦略,プロンプト長といった,さまざまなflの影響評価実験を行う。 ラベルスキューとドメインシフトが共存する複雑なシナリオにおいて、迅速な学習を促進するための戦略を検討する。
• 参考スコア（独自算出の注目度）: 50.73746120012352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Vision Language Model (VLM) excels in aligning vision and language representations, and prompt learning has emerged as a key technique for adapting such models to downstream tasks. However, the application of prompt learning with VLM in federated learning (\fl{}) scenarios remains underexplored. This paper systematically investigates the behavioral differences between language prompt learning (LPT) and vision prompt learning (VPT) under data heterogeneity challenges, including label skew and domain shift. We conduct extensive experiments to evaluate the impact of various \fl{} and prompt configurations, such as client scale, aggregation strategies, and prompt length, to assess the robustness of Federated Prompt Learning (FPL). Furthermore, we explore strategies for enhancing prompt learning in complex scenarios where label skew and domain shift coexist, including leveraging both prompt types when computational resources allow. Our findings offer practical insights into optimizing prompt learning in federated settings, contributing to the broader deployment of VLMs in privacy-preserving environments.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は、視覚と言語表現の整合性に優れており、このようなモデルを下流タスクに適応させるための重要なテクニックとして、迅速な学習が出現している。 しかしながら、連合学習(\fl{})シナリオにおけるVLMによる即時学習の適用については、まだ未検討である。 本稿では,ラベルスキューやドメインシフトを含むデータ不均一性課題における,言語プロンプト学習(LPT)と視覚プロンプト学習(VPT)の行動的差異を系統的に検討する。 本研究では,FPL(Federated Prompt Learning)の堅牢性を評価するために,クライアントスケールや集約戦略,迅速な長さなど,さまざまな \fl{} の影響を評価するための広範な実験を行う。 さらに,ラベルスキューとドメインシフトが共存する複雑なシナリオにおいて,計算資源が許す場合に両方のプロンプト型を活用することを含む,迅速な学習を促進するための戦略を検討する。 本研究は,プライバシ保護環境におけるVLMの広範な展開に寄与する,フェデレーション環境での迅速な学習の最適化に関する実践的洞察を提供する。

関連論文リスト

• Unlocking the Capabilities of Vision-Language Models for Generalizable and Explainable Deepfake Detection [18.125287697902813]
  現在の視覚言語モデル(VLM)は、マルチモーダルデータの理解において顕著な能力を示しているが、そのポテンシャルはディープフェイク検出に過小評価されている。 本稿では,VLMの潜在能力を3つのコンポーネントで解き放つ新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-03-19T03:20:03Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的プロンプトを注入する学習自由手法を提案する。 我々は,エネルギー関数に基づいて学習可能な潜伏変数を最適化し,注目マップにおける参照領域の強度を高める。 提案手法は,参照能力のMLLMへの統合に有望な方向を与え,ボックス,マスク,スクリブル,ポイントによる参照を支援する。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• A Lost Opportunity for Vision-Language Models: A Comparative Study of Online Test-Time Adaptation for Vision-Language Models [3.0495235326282186]
  ディープラーニングでは、分散シフトに対する堅牢性を維持することが重要です。 この研究は、視覚言語基礎モデルをテスト時に適用するための幅広い可能性を探究する。
  論文  参考訳（メタデータ） (2024-05-23T18:27:07Z)
• In-context Prompt Learning for Test-time Vision Recognition with Frozen Vision-language Model [13.983810804606264]
  In-Context Prompt Learning (InCPL) を提案する。 InCPLは、コンテキスト情報としてラベル付き例がほとんどない新しいテストサンプルを関連付けている。 テストサンプルに適した視覚的プロンプトを最適化するために、コンテキスト対応の教師なし損失を導入する。
  論文  参考訳（メタデータ） (2024-03-10T08:15:51Z)
• Text-driven Prompt Generation for Vision-Language Models in Federated Learning [24.005620820818756]
  FedTPG(Federated Text-Driven Prompt Generation)を提案する。 FedTPGは、複数のリモートクライアントにまたがる統一的なプロンプト生成ネットワークをスケーラブルに学習する。 9つの多様な画像分類データセットを総合的に評価した結果,既存のフェデレーション・プロンプト・ラーニング・手法よりも優れた手法であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T19:57:24Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。