論文の概要: pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation

• arxiv url: http://arxiv.org/abs/2602.22938v1
• Date: Thu, 26 Feb 2026 12:27:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.681132
• Title: pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation
• Title（参考訳）: pMoE: さまざまな専門家をまとめて考えることで、視覚的適応性が向上する
• Authors: Shentong Mo, Xufang Luo, Dongsheng Li,
• Abstract要約: pMoEと呼ばれる新しいMixture-of-Expertsプロンプトチューニング手法を提案する。 提案したpMoEは、幅広いタスクに対するモデルの汎用性と適用性を著しく向上させる。 本研究は,一般領域と医療領域の分類・分節を含む47の適応タスクにまたがる広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 68.3777121585281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning has demonstrated promising results across various visual adaptation tasks, such as classification and segmentation. Typically, prompt tuning techniques have harnessed knowledge from a single pre-trained model, whether from a general or a specialized medical domain. However, this approach typically overlooks the potential synergies that could arise from integrating diverse domain knowledge within the same tuning process. In this work, we propose a novel Mixture-of-Experts prompt tuning method called pMoE, which leverages the strengths of multiple expert domains through expert-specialized prompt tokens and the learnable dispatcher, effectively combining their expertise in a unified model framework. Our pMoE introduces expert-specific prompt tokens and utilizes a dynamic token dispatching mechanism at various prompt layers to optimize the contribution of each domain expert during the adaptation phase. By incorporating both domain knowledge from diverse experts, the proposed pMoE significantly enhances the model's versatility and applicability to a broad spectrum of tasks. We conduct extensive experiments across 47 adaptation tasks, including both classification and segmentation in general and medical domains. The results demonstrate that our pMoE not only achieves superior performance with a large margin of improvements but also offers an optimal trade-off between computational efficiency and adaptation effectiveness compared to existing methods.
• Abstract（参考訳）: パラメータ効率の良い微調整は、分類やセグメンテーションなど、様々な視覚適応タスクにおいて有望な結果を示している。 典型的には、プロンプトチューニング技術は、一般分野や専門分野を問わず、訓練済みの1つのモデルからの知識を活用している。 しかし、このアプローチは一般的に、異なるドメイン知識を同じチューニングプロセスに統合することによって起こりうる潜在的なシナジーを見落としている。 そこで本研究では,エキスパート特化プロンプトトークンと学習可能なディスペンサを用いて,複数のエキスパートドメインの強みを活用する,pMoEと呼ばれる新しいMixture-of-Expertsプロンプトチューニング手法を提案する。 pMoEはエキスパート固有のプロンプトトークンを導入し、様々なプロンプト層における動的トークンディスパッチ機構を用いて、適応フェーズにおける各ドメインの専門家の貢献を最適化する。 ドメイン知識を多種多様な専門家から取り入れることで、提案したpMoEは、幅広いタスクに対するモデルの汎用性と適用性を大幅に向上させる。 一般領域と医療領域の分類・分節を含む47の適応タスクにまたがる広範囲な実験を行った。 この結果から,pMoEは高い性能を達成できるだけでなく,従来の手法に比べて計算効率と適応効率のトレードオフが最適であることが示唆された。

関連論文リスト

• GMoPE:A Prompt-Expert Mixture Framework for Graph Foundation Models [30.023472202549076]
  グラフニューラルネットワーク(GNN)はタスク固有のベンチマークで素晴らしいパフォーマンスを示しているが、さまざまなドメインやタスクをまたいで一般化する能力は限定的だ。 GMoPEは,Mixture-of-Experts(MoE)アーキテクチャをグラフの即時学習とシームレスに統合するフレームワークである。 GMoPEは、最先端のベースラインを一貫して上回り、完全なパラメータの微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-11-05T07:28:51Z)
• Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
  Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
  論文  参考訳（メタデータ） (2025-09-30T16:56:44Z)
• MoE-MLoRA for Multi-Domain CTR Prediction: Efficient Adaptation with Expert Specialization [0.0]
  MoE-MLoRAはエキスパートの混成フレームワークで、各専門家はドメインを専門にするために独立して訓練される。 MoE-MLoRAはMovielensとTaobaoの8つのCTRモデルで評価した。
  論文  参考訳（メタデータ） (2025-06-09T09:03:05Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning [90.75075886543404]
  MLLM(Multimodal Large Language Models)は、幅広い領域にわたる顕著なパフォーマンスを示す。 本研究では,MLLMの効率的な命令チューニングのための新しいMultimodal Prompt Tuning (M$2$PT) 手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T01:40:24Z)
• T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
  大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。 我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。