論文の概要: MEPT: Mixture of Expert Prompt Tuning as a Manifold Mapper

• arxiv url: http://arxiv.org/abs/2509.00996v1
• Date: Sun, 31 Aug 2025 21:19:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.49413
• Title: MEPT: Mixture of Expert Prompt Tuning as a Manifold Mapper
• Title（参考訳）: MEPT: マニフォールドマッパーとしてのエキスパートプロンプトチューニングの混合
• Authors: Runjia Zeng, Guangyan Sun, Qifan Wang, Tong Geng, Sohail Dianat, Xiaotian Han, Raghuveer Rao, Xueling Zhang, Cheng Han, Lifu Huang, Dongfang Liu,
• Abstract要約: エキスパート・プロンプト・チューニング(MEPT)の混合は効率的かつ効率的な多様体・マッピング・フレームワークである。 MEPTは複数のプロンプト専門家を統合し、多様な非定常データ分布を適応的に学習する。 経験的評価により、MEPTはSuperGLUE上でいくつかの最先端パラメータの効率的なベースラインより優れていることが示された。
• 参考スコア（独自算出の注目度）: 75.6582687942241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considering deep neural networks as manifold mappers, the pretrain-then-fine-tune paradigm can be interpreted as a two-stage process: pretrain establishes a broad knowledge base, and fine-tune adjusts the model parameters to activate specific neural pathways to align with the target manifold. Although prior fine-tuning approaches demonstrate success, their rigid parameter space limits their ability to dynamically activate appropriate neural pathways, rendering them ill-equipped to adapt flexibly to the diverse and evolving data distributions. In light of this view, we propose a novel approach, Mixture of Expert Prompt Tuning (MEPT), as an effective and efficient manifold-mapping framework. MEPT leverages the Mixture of Experts architecture by integrating multiple prompt experts to adaptively learn diverse and non-stationary data distributions. Empirical evaluations demonstrate that MEPT outperforms several state-of-the-art parameter efficient baselines on SuperGLUE, achieving notable improvements in mean accuracy (e.g., 1.94%) while significantly reducing activated prompts by 79.25%. The effectiveness of MEPT is further supported by theoretical insights from manifold learning and validated through neural activation pathway visualization results. Our code is avaliable at https://github.com/runtsang/MEPT.
• Abstract（参考訳）: 深層ニューラルネットワークを多様体マッパーとして考えると、プレトレイン-Then-fine-Tuneパラダイムは2段階のプロセスとして解釈できる: プレトレインは広い知識基盤を確立し、ファインチューンはモデルパラメータを調整して特定のニューラルネットワークを活性化し、ターゲットの多様体と整合させる。 以前の微調整アプローチは成功したが、その厳密なパラメータ空間は、適切な神経経路を動的に活性化する能力を制限する。 この観点から、我々は、効果的かつ効率的な多様体マッピングフレームワークとして、Mixture of Expert Prompt Tuning (MEPT)を提案する。 MEPTはMixture of Expertsアーキテクチャを活用し、複数のプロンプトの専門家を統合し、多様な非定常データ分散を適応的に学習する。 実証的な評価では、MEPTはSuperGLUE上でいくつかの最先端パラメータの効率的なベースラインより優れており、平均精度(例えば1.94%)が著しく向上し、アクティベートプロンプトを79.25%削減している。 MEPTの有効性は、多様体学習の理論的洞察によってさらに支持され、神経活性化経路の可視化結果を通じて検証される。 私たちのコードはhttps://github.com/runtsang/MEPTで無効です。

関連論文リスト

• UNEM: UNrolled Generalized EM for Transductive Few-Shot Learning [35.62208317531141]
  我々は「最適化学習」とも呼ばれるアンロールパラダイムを提唱し紹介する。 我々のアンローリングアプローチは、様々な統計的特徴分布と事前学習パラダイムをカバーしている。 本稿では,下流画像分類作業の細粒度を網羅した包括的実験について報告する。
  論文  参考訳（メタデータ） (2024-12-21T19:01:57Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
  大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。 我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Med-Tuning: A New Parameter-Efficient Tuning Framework for Medical Volumetric Segmentation [37.42382366505377]
  我々は,医療用ボリュームセグメンテーションタスクのためのパラメータ効率チューニング(PET)を実現するために,Med-Tuningという新しいフレームワークを導入した。 本フレームワークは,自然画像上で事前学習したセグメンテーション作業における2次元ベースラインの精度を向上させる。 完全なFTと比較して、Med-Tuningは細調整されたモデルのパラメータを最大4倍に減らし、セグメンテーション性能も向上した。
  論文  参考訳（メタデータ） (2023-04-21T10:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。