論文の概要: FedIA: Instance-Aware Cross-Modal Representations for Federated Prompt Learning
- arxiv url: http://arxiv.org/abs/2611.05994v1
- Date: Wed, 04 Nov 2026 05:39:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.990144
- Title: FedIA: Instance-Aware Cross-Modal Representations for Federated Prompt Learning
- Title(参考訳): FedIA:Federated Prompt Learningのためのインスタンス対応クロスモーダル表現
- Abstract要約: Federated Prompt Learning (FPL) は、生データを交換することなく、分散クライアント間でビジョン言語モデルのパラメータ効率の良い適応を可能にする。
事例対応型クロスモーダル表現を用いたフェデレーション・プロンプト学習(FedIA)を提案する。
FedIAはインスタンス対応のクロスモーダル表現を学び、FPLのパーソナライゼーションをクライアントレベルからインスタンスレベルにシフトします。
- 参考スコア(独自算出の注目度): 9.045729447325904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Prompt Learning (FPL) enables parameter-efficient adaptation of pre-trained Vision-Language Models across decentralized clients without exchanging raw data. To cope with cross-client heterogeneity, existing FPL methods typically pair a globally shared prompt with a client-specific local prompt. However, this design personalizes only at the client level: the same local prompt is applied to all samples of a client, and the global and local prompts are combined in an input-agnostic, fixed manner. Consequently, it overlooks the substantial visual variations among samples within the same client and cannot adjust the balance between shared and personalized knowledge to each input. To address these limitations, we propose Federated Prompt Learning with Instance-Aware Cross-Modal Representations (FedIA), an FPL framework that learns instance-aware cross-modal representations. Specifically, FedIA first uses global text prompts as client-invariant semantic anchors to select image patches most relevant to each candidate class, suppressing distracting regions. The selected visual evidence then conditions the generation of instance-aware local text representations. Finally, an adaptive global-local fusion module calibrates the contributions of local and global text representations for each image-class pair. In this way, FedIA shifts personalization in FPL from the client level to the instance level while preserving the semantic knowledge shared across clients. Extensive experiments under domain shift, pathological label skew, and Dirichlet-based label skew show that FedIA outperforms FPL baselines, with maximum accuracy gains of 1.44\%-4.37\% over the latest baseline across the three settings. Ablation studies and analyses further verify the complementary contributions of instance-aware representation generation and adaptive global-local fusion.
- Abstract(参考訳): Federated Prompt Learning (FPL) は、生データを交換することなく、分散化されたクライアント間で事前訓練されたビジョンランゲージモデルのパラメータ効率の良い適応を可能にする。
クロスクライアントの不均一性に対処するため、既存のFPLメソッドは通常、グローバルに共有されるプロンプトとクライアント固有のローカルプロンプトをペアリングする。
しかし、この設計はクライアントレベルでのみパーソナライズする:同じローカルプロンプトがクライアントの全サンプルに適用され、グローバルプロンプトとローカルプロンプトが入力に依存しない固定的な方法で結合される。
その結果、同一クライアント内のサンプル間のかなりの視覚的バリエーションを見落とし、各入力に対して共有知識とパーソナライズド知識のバランスを調整することができない。
これらの制約に対処するため,FedIA(Federated Prompt Learning with Instance-Aware Cross-Modal Representations)を提案する。
具体的には、FedIAはまずグローバルテキストプロンプトをクライアント不変セマンティックアンカーとして使用し、各候補クラスに最も関連のあるイメージパッチを選択する。
選択された視覚的証拠は、インスタンス対応のローカルテキスト表現の生成を条件付ける。
最後に、適応的グローバル局所融合モジュールは、各画像クラス対に対する局所的およびグローバルなテキスト表現の貢献を校正する。
このように、FedIAはFPLのパーソナライズをクライアントレベルからインスタンスレベルにシフトし、クライアント間で共有されるセマンティック知識を保持します。
ドメインシフト、病理ラベルスキュー、ディリクレをベースとしたラベルスキューによる大規模な実験により、FedIAはFPLベースラインより優れており、最大精度は3つの設定で最新のベースラインよりも1.44\%-4.37\%向上している。
アブレーション研究と分析により、インスタンス認識表現生成と適応的グローバル局所融合の相補的寄与がさらに検証される。
関連論文リスト
- Representation-Aligned Multi-Scale Personalization for Federated Learning [24.809441061502095]
本稿では、パーソナライズされたリソース適応型フェデレーション学習のための統合フレームワークFRAMPを提案する。
FRAMPは固定されたグローバルモデルに頼る代わりに、コンパクトなクライアント記述子からクライアント固有のモデルを生成する。
ビジョンとグラフベンチマークの実験では、FRAMPが広範囲のクライアント設定における一般化と適応性を高めることが示されている。
論文 参考訳(メタデータ) (2026-04-13T10:38:21Z) - FedAPT: Federated Adversarial Prompt Tuning for Vision-Language Models [97.35577473867296]
Federated Adversarial Prompt Tuning (textbfFedAPT)は、FPTの対向性を高めるために設計された新しい手法である。
この問題に対処するために,テキストプロンプトから視覚的なプロンプトを生成するtextbfclass-awareプロンプトジェネレータを提案する。
複数の画像分類データセットの実験は、対向ロバスト性を改善する上でFedAPTの優位性を示している。
論文 参考訳(メタデータ) (2025-09-03T03:46:35Z) - Towards Instance-wise Personalized Federated Learning via Semi-Implicit Bayesian Prompt Tuning [17.4339566214049]
pFedBayesPTは、視覚的なプロンプトチューニングに基づく、きめ細かいインスタンスワイズpFLフレームワークである。
半単純変分推論フレームワークを用いて変分学習目標を導出する。
ベンチマークデータセットの実験は、pFedBayesPTが既存のpFLメソッドを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2025-08-27T06:59:10Z) - Personalized Federated Learning via Dual-Prompt Optimization and Cross Fusion [44.8670376715096]
フェデレートラーニング(FL)は、ローカルデータを共有せずに、分散化されたクライアント間で協調的なモデルトレーニングを可能にする。
我々は,pFedDCと呼ばれる,二重プロンプト学習と相互融合に基づくパーソナライズされたFLフレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-26T10:59:14Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文 参考訳(メタデータ) (2022-05-30T07:43:42Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z) - Federated Unsupervised Representation Learning [56.715917111878106]
フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。
FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
論文 参考訳(メタデータ) (2020-10-18T13:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。