論文の概要: Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization

• arxiv url: http://arxiv.org/abs/2504.21063v1
• Date: Tue, 29 Apr 2025 11:06:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 23:55:38.724342
• Title: Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization
• Title（参考訳）: フェデレーション領域一般化のためのパラメータフリールーティングを用いたトークンレベルプロンプト混合
• Authors: Shuai Gong, Chaoran Cui, Xiaolin Dong, Xiushan Nie, Lei Zhu, Xiaojun Chang,
• Abstract要約: Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
• 参考スコア（独自算出の注目度）: 51.562474873972086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated domain generalization (FedDG) aims to learn a globally generalizable model from decentralized clients with heterogeneous data while preserving privacy. Recent studies have introduced prompt learning to adapt vision-language models (VLMs) in FedDG by learning a single global prompt. However, such a one-prompt-fits-all learning paradigm typically leads to performance degradation on personalized samples. Although the mixture of experts (MoE) offers a promising solution for specialization, existing MoE-based methods suffer from coarse image-level expert assignment and high communication costs from parameterized routers. To address these limitations, we propose TRIP, a Token-level prompt mixture with parameter-free routing framework for FedDG, which treats multiple prompts as distinct experts. Unlike existing image-level routing designs, TRIP assigns different tokens within an image to specific experts. To ensure communication efficiency, TRIP incorporates a parameter-free routing mechanism based on token clustering and optimal transport. The instance-specific prompt is then synthesized by aggregating experts, weighted by the number of tokens assigned to each. Additionally, TRIP develops an unbiased learning strategy for prompt experts, leveraging the VLM's zero-shot generalization capability. Extensive experiments across four benchmarks demonstrate that TRIP achieves optimal generalization results, with communication of only 1K parameters per round. Our code is available at https://github.com/GongShuai8210/TRIP.
• Abstract（参考訳）: フェデレートされたドメイン一般化(FedDG)は、プライバシを保ちながら、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 しかし、このような一貫した学習パラダイムは、典型的にはパーソナライズされたサンプルの性能低下につながる。 専門家の混在(MoE)は、専門化のための有望なソリューションを提供するが、既存のMoEベースの手法は、粗い画像レベルの専門家の割り当てとパラメータ化されたルータからの通信コストに悩まされている。 これらの制約に対処するために,複数のプロンプトを個別の専門家として扱う,パラメータフリーなFedDGルーティングフレームワークを備えたトークンレベルのプロンプトであるTRIPを提案する。 既存のイメージレベルのルーティング設計とは異なり、TRIPはイメージ内の異なるトークンを特定の専門家に割り当てる。 通信効率を確保するため、TRIPはトークンクラスタリングと最適な転送に基づくパラメータフリールーティング機構を組み込んだ。 インスタンス固有のプロンプトは専門家の集約によって合成され、それぞれに割り当てられたトークンの数によって重み付けされる。 さらに、TRIPは、VLMのゼロショット一般化能力を活用した、プロンプト専門家のためのバイアスのない学習戦略を開発している。 4つのベンチマークによる大規模な実験により、TRIPは1ラウンドあたり1Kパラメータの通信で最適な一般化結果が得られることが示された。 私たちのコードはhttps://github.com/GongShuai8210/TRIP.comで公開されています。

関連論文リスト

• Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
  シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンで性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-03-07T18:03:13Z)
• Glider: Global and Local Instruction-Driven Expert Router [83.785832410832]
  モデルMoErging」手法は、保持タスクのパフォーマンスを犠牲にして、未確認タスクへの一般化を優先する。 マルチスケールルーティング機構を統合したGLIDER(Global and Local Instruction Driven Expert Router)を提案する。 GLIDERは、ホールドアウトタスクの強い一般化を維持しながら、ホールドイン性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:14Z)
• Towards Personalized Federated Multi-Scenario Multi-Task Recommendation [22.095138650857436]
  PF-MSMTrecは、パーソナライズされたマルチシナリオマルチタスクレコメンデーションのための新しいフレームワークである。 複数の最適化競合の独特な課題に対処するために,ボトムアップ共同学習機構を導入する。 提案手法は最先端手法より優れている。
  論文  参考訳（メタデータ） (2024-06-27T07:10:37Z)
• Multi-Task Dense Prediction via Mixture of Low-Rank Experts [35.11968315125389]
  MLoRE(Mixture-of-Low-Rank-Experts)と呼ばれる,マルチタスクの高密度予測のためのデコーダに着目した新しい手法を提案する。 グローバルなタスク関係をモデル化するために、MLoREは元のMoE構造に汎用的な畳み込みパスを追加し、各タスク機能は、明示的なパラメータ共有のためにこのパスを通ることができる。 実験の結果,MLoREは従来のすべてのメトリクスの最先端手法に比べて優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-26T14:40:17Z)
• MoPE: Mixture of Prompt Experts for Parameter-Efficient and Scalable Multimodal Fusion [29.46189153751869]
  プロンプトエキスパートの混合 (Mixture of Prompt Experts, MOPE) は、標準のプロンプトを分解することで制限を克服するために設計された最初の技術である。 本手法は, トレーニングデータとトレーニング可能なパラメータの総数により, より効果的にスケールできることを示す。
  論文  参考訳（メタデータ） (2024-03-14T17:47:10Z)
• Learning to Route Among Specialized Experts for Zero-Shot Generalization [39.56470042680907]
  我々は,専門専門家の海洋上での時間的適応的整合性ゲーティング(PHATGOOSE)を提案する。 パラメータ効率の細かいチューニングによって生成された特殊なモジュール間のルートを学習する。 特別なモデルを作成するために使用されるデータセットに同時アクセスする必要はなく、各エキスパートモデルがトレーニングされた後のみ、わずかな量の計算が必要になります。
  論文  参考訳（メタデータ） (2024-02-08T17:43:22Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts for Zero-Shot Dialogue State Tracking [83.40120598637665]
  対話状態追跡(DST)のためのゼロショット転送学習は、ドメイン内のデータを収集するコストを伴わずに、様々なタスク指向の対話ドメインを扱うのに役立つ。 既存の研究は主に一般化を強化するために、一般的なデータまたはモデルレベルの拡張方法を研究する。 我々は、見られているデータのセマンティクスを明示的に切り離す、単純で効果的な「分割、征服、結合」ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-01T08:21:20Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。