論文の概要: Global Prompt Refinement with Non-Interfering Attention Masking for One-Shot Federated Learning

• arxiv url: http://arxiv.org/abs/2509.22700v1
• Date: Sun, 21 Sep 2025 16:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.80557
• Title: Global Prompt Refinement with Non-Interfering Attention Masking for One-Shot Federated Learning
• Title（参考訳）: ワンショットフェデレーション学習のための非干渉注意マスキングによるグローバル・プロンプト・リファインメント
• Authors: Zhuang Qi, Pan Yu, Lei Meng, Sijin Zhou, Han Yu, Xiaoxiao Li, Xiangxu Meng,
• Abstract要約: Federated Prompt Learning (FPL) は、凍結した事前学習モデルの上に軽量なプロンプトをチューニングすることで、コミュニケーション効率の高い適応を可能にする。 単発FPLのための非干渉注意マスキング法(GPR-NIAM)を提案する。
• 参考スコア（独自算出の注目度）: 44.046497332278555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Prompt Learning (FPL) enables communication-efficient adaptation by tuning lightweight prompts on top of frozen pre-trained models. Existing FPL methods typically rely on global information, which is only available after the second training round, to facilitate collaboration among client models. Therefore, they are inherently dependent on multi-round communication to fully exhibit their strengths. Moreover, existing one-shot federated learning methods typically focus on fitting seen tasks, but lack cross-task generalization. To bridge this gap, we propose the Global Prompt Refinement with Non-Interfering Attention Masking (GPR-NIAM) method for one-shot FPL. The core idea is to design a masking mechanism that restricts excessive interaction between the original text embeddings and the learnable prompt embeddings. GPR-NIAM achieves this through the collaboration of two key modules. Firstly, the attention isolation module suppresses attention from the learnable prompt tokens to the original text tokens, and reweights the reverse attention which preserves generalization across tasks. Secondly, the cross-silo collaborative refinement module integrates decentralized visual knowledge into a unified base and calibrates the global prompt through multi-source cross-modal knowledge alignment, further mitigating the inconsistency caused by data heterogeneity. Extensive experiments conducted on ten benchmark datasets under two tasks show that GPR-NIAM outperforms eight state-of-the-art methods in both class-level and domain-level generalization.
• Abstract（参考訳）: Federated Prompt Learning (FPL) は、凍結した事前学習モデルの上に軽量なプロンプトをチューニングすることで、コミュニケーション効率の高い適応を可能にする。 既存のFPLメソッドは通常、クライアントモデル間のコラボレーションを容易にするために、第2のトレーニングラウンド後にのみ利用できるグローバル情報に依存します。 したがって、それらは本質的にマルチラウンド通信に依存して、その強みを完全に表現している。 さらに、既存のワンショットのフェデレーション学習手法は、典型的には目に見えるタスクに適合するが、タスク間の一般化は欠如している。 このギャップを埋めるため,単発FPLのための非干渉注意マスキング法(GPR-NIAM)を提案する。 中心となる考え方は、オリジナルのテキスト埋め込みと学習可能なプロンプト埋め込みとの間の過剰な相互作用を制限するマスキング機構を設計することである。 GPR-NIAMは2つの主要なモジュールの協調によってこれを達成している。 まず、アテンションアイソレーションモジュールは、学習可能なプロンプトトークンから元のテキストトークンへの注意を抑え、タスク間の一般化を維持するリバースアテンションを再重み付けする。 第2に、分散化された視覚知識を統一基盤に統合し、マルチソースのクロスモーダルな知識アライメントを通じてグローバルなプロンプトを校正し、データ不均一性による不整合を緩和する。 GPR-NIAMは、クラスレベルとドメインレベルの一般化の両方において、最先端の8つの手法より優れていることを示す。

関連論文リスト

• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• Personalized Federated Learning via Dual-Prompt Optimization and Cross Fusion [44.8670376715096]
  フェデレートラーニング(FL)は、ローカルデータを共有せずに、分散化されたクライアント間で協調的なモデルトレーニングを可能にする。 我々は,pFedDCと呼ばれる,二重プロンプト学習と相互融合に基づくパーソナライズされたFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-26T10:59:14Z)
• Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
  教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。 従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。 本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-27T13:58:12Z)
• BMIP: Bi-directional Modality Interaction Prompt Learning for VLM [18.196058385987506]
  本稿では,$underlinetextbfBi-directional underlinetextbfModality underlinetextbfInteraction underlinetextbfPrompt (BMIP)$という新しいプロンプト学習手法を提案する。 BMIPは、注目層の情報を学習し、単純な情報集約法と比較して、訓練性およびモーダル間整合性を高めることにより、バイモーダル情報を重み付けする。
  論文  参考訳（メタデータ） (2025-01-14T00:59:55Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
  TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。 TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T03:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。