論文の概要: Harnessing Vision-Language Models for Federated Unsupervised Visual Recognition
- arxiv url: http://arxiv.org/abs/2611.12187v1
- Date: Mon, 09 Nov 2026 10:42:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.285736
- Title: Harnessing Vision-Language Models for Federated Unsupervised Visual Recognition
- Title(参考訳): フェデレートされた教師なし視覚認識のためのハーネスング視覚言語モデル
- Abstract要約: フェデレートラーニング(FL)は、データ共有なしに分散クライアント間で協調的なモデルトレーニングを可能にする、有望な研究パラダイムである。
我々は、CLIPのような事前学習された視覚言語モデルのゼロショット機能を活用することで、教師なし認識のために設計された最初のフレームワークであるFedURを紹介する。
- 参考スコア(独自算出の注目度): 54.566431756489266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a promising research paradigm that enables collaborative model training across distributed clients without data sharing. To handle unlabeled data in local clients, existing unsupervised FL research has primarily focused on tasks like clustering and self-supervised representation learning, leaving the critical problem of unsupervised visual recognition largely unexplored. To bridge this gap, we introduce FedUR, the first framework designed for unsupervised recognition by leveraging the zero-shot capabilities of pre-trained vision-language models like CLIP. Specifically, FedUR addresses data heterogeneity through a pseudo-labeling mechanism with a class-aware data selection strategy. This strategy first estimates a global pseudo-label distribution, then allocates pseudo-labeled data to clients accordingly. To handle the uncertainty of conventional positive pseudo-labels, FedUR further incorporates class weights and a negative pseudo-labeling strategy. Furthermore, FedUR proposes a personalized prompt aggregation protocol where general visual prompts are aggregated on the server, and personalized text prompts encoding local knowledge are retained on clients. Extensive experiments demonstrate that FedUR consistently outperforms baseline methods under both label-level and feature-level distribution shifts. We believe this work paves the way for further advances in federated unsupervised recognition. Code will be available at {github.com/tim-learn/FedUR/}}.
- Abstract(参考訳): フェデレートラーニング(FL)は、データ共有なしに分散クライアント間で協調的なモデルトレーニングを可能にする、有望な研究パラダイムである。
ローカルクライアントでラベルのないデータを扱うために、既存の非教師なしFL研究は主にクラスタリングや自己教師付き表現学習のようなタスクに焦点を当てており、教師なしの視覚認識の致命的な問題は探索されていないままである。
このギャップを埋めるために、私たちはCLIPのような事前学習された視覚言語モデルのゼロショット機能を活用することで、教師なし認識のために設計された最初のフレームワークであるFedURを紹介します。
特に、FedURは、クラスを意識したデータ選択戦略を備えた擬似ラベル機構を通じて、データの不均一性に対処する。
この戦略はまずグローバルな擬似ラベル分布を推定し、それに応じて擬似ラベルデータをクライアントに割り当てる。
従来の正の擬似ラベルの不確実性に対処するため、FedURはクラスウェイトと負の擬似ラベル戦略をさらに取り入れている。
さらにFedURは、サーバ上で一般的な視覚的プロンプトを集約し、ローカル知識を符号化したパーソナライズされたテキストプロンプトをクライアントに保持するパーソナライズされたプロンプトアグリゲーションプロトコルを提案する。
大規模な実験により、FedURはラベルレベルと特徴レベルの両方の分散シフトの下で、ベースラインメソッドを一貫して上回ることを示した。
我々は、この研究が、非教師なし認識のさらなる進歩の道を開くと信じている。
コードはgithub.com/tim-learn/FedUR/}}で入手できる。
関連論文リスト
- Overcoming label shift with target-aware federated learning [10.355835466049092]
フェデレートラーニングにより、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングできる。
一般的な理由はラベルシフトです -- ラベルの分布がクライアントとターゲットドメインによって異なります。
対象領域の性能向上のためにラベルシフトに適応する,原則的で実用的なモデルアグリゲーションスキームであるFedPALSを提案する。
論文 参考訳(メタデータ) (2024-11-06T09:52:45Z) - FedAnchor: Enhancing Federated Semi-Supervised Learning with Label
Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。
本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。
提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文 参考訳(メタデータ) (2024-02-15T18:48:21Z) - Navigating Data Heterogeneity in Federated Learning A Semi-Supervised
Federated Object Detection [3.7398615061365206]
フェデレートラーニング(FL)は、分散データソース間でモデルをトレーニングするための強力なフレームワークとして登場した。
特に自動運転のようなアプリケーションでは、高品質なラベルや、IID以外のクライアントデータに制限がある。
クライアントがラベル付きデータを持っている間、ラベル付きデータがサーバにのみ存在するシナリオ用に設計された、先駆的なSSFODフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-26T01:40:28Z) - Learning for Transductive Threshold Calibration in Open-World Recognition [83.35320675679122]
グラフニューラルネットワークを用いた高剛性と適応性を有するトランスダクティブしきい値キャリブレーション法であるOpenGCNを導入する。
オープンワールドの視覚認識ベンチマークにおける実験は、オープンワールドのしきい値校正のための既存のポストホック校正方法よりもOpenGCNの方が優れていることを検証する。
論文 参考訳(メタデータ) (2023-05-19T23:52:48Z) - Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文 参考訳(メタデータ) (2022-11-14T13:59:50Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-02-09T03:07:07Z) - Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。
注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。
当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
論文 参考訳(メタデータ) (2020-12-21T12:25:04Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳(メタデータ) (2020-10-18T13:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。