論文の概要: Expert Pyramid Tuning: Efficient Parameter Fine-Tuning for Expertise-Driven Task Allocation

• arxiv url: http://arxiv.org/abs/2603.12577v1
• Date: Fri, 13 Mar 2026 02:23:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.849889
• Title: Expert Pyramid Tuning: Efficient Parameter Fine-Tuning for Expertise-Driven Task Allocation
• Title（参考訳）: エキスパートピラミッドチューニング:エキスパート駆動タスク割り当てのための効率的なパラメータ調整
• Authors: Jia-Chen Zhang, Zhen-Wei Yan, Yu-Jie Xiong, Chun-Ming Xia,
• Abstract要約: Expert Pyramid Tuning (EPT) は、コンピュータビジョンからPEFTの領域に多スケールのピラミッドの概念を統合する新しいアーキテクチャである。 EPT は SOTA MoE-LoRA の亜種を著しく上回っている。
• 参考スコア（独自算出の注目度）: 7.579163774245479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) has become a dominant paradigm for deploying LLMs in multi-task scenarios due to its extreme parameter efficiency. While Mixture-of-Experts (MoE) based LoRA variants have achieved promising results by dynamically routing tokens to different low-rank experts, they largely overlook the hierarchical nature of task complexity. Existing methods typically employ experts with uniform architectures, limiting their ability to capture diverse feature granularities required by distinct tasks--where some tasks demand high-level semantic abstraction while others require fine-grained syntactic manipulation. To bridge this gap, we propose Expert Pyramid Tuning (EPT), a novel architecture that integrates the multi-scale feature pyramid concept from computer vision into the realm of PEFT. Unlike standard LoRA, EPT decomposes task adaptation into two stages: (1) A shared meta-knowledge Subspace that encodes universal linguistic patterns in low dimensions; (2) A Pyramid Projection Mechanism that utilizes learnable up-projection operators to reconstruct high-dimensional features at varying scales. A task-aware router then dynamically selects the optimal combination of these multi-scale features. Extensive experiments across multiple multi-task benchmarks demonstrate that EPT significantly outperforms SOTA MoE-LoRA variants. Crucially, thanks to the re-parameterization capability of our design, EPT achieves this performance improvement while simultaneously reducing the number of training parameters.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は,その極端なパラメータ効率のため,マルチタスクシナリオにLLMをデプロイする上で重要なパラダイムとなっている。 Mixture-of-Experts (MoE)ベースのLoRAは、さまざまな低ランクの専門家にトークンを動的にルーティングすることで、有望な結果を得たが、それらはタスク複雑性の階層的な性質をほとんど見落としている。 既存のメソッドは通常、一様アーキテクチャの専門家を雇い、異なるタスクによって要求される様々な特徴の粒度をキャプチャする能力を制限する。 このギャップを埋めるために,コンピュータビジョンからPEFTの領域に多スケールのピラミッドの概念を統合する新しいアーキテクチャであるExpert Pyramid Tuning (EPT)を提案する。 1)低次元の普遍的言語パターンを符号化する共有メタ知識部分空間,(2)学習可能なアッププロジェクション演算子を用いて様々なスケールで高次元特徴を再構成するピラミッド投影機構。 タスク対応ルータは、これらのマルチスケール機能の最適な組み合わせを動的に選択する。 複数のマルチタスクベンチマークによる大規模な実験により、EPTはSOTA MoE-LoRAの亜種を著しく上回っていることが示された。 重要なことに、当社の設計の再パラメータ化機能のおかげで、EPTはトレーニングパラメータの数を同時に減らしながら、このパフォーマンスの改善を実現しています。

関連論文リスト

• Parameter Aware Mamba Model for Multi-task Dense Prediction [69.94454603308196]
  本稿では,マルチタスク学習環境における高密度予測に特化して設計された,新しいデコーダベースのフレームワーク Aware Mamba Model (PAMM) を紹介する。 タスク固有のパラメータを統合および設定し、各タスクの固有の特性をキャプチャする、二重状態空間パラメータの専門家を特徴とする。 マルチディレクショナル・ヒルベルト走査法を用いて多角特徴系列を構築し、2次元データに対するシーケンスモデルの知覚能力を向上する。
  論文  参考訳（メタデータ） (2025-11-18T13:48:00Z)
• MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning [18.0412262027514]
  マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。 各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。 また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
  論文  参考訳（メタデータ） (2025-05-28T12:32:09Z)
• TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts [4.5558042369389105]
  TT-LoRA MoEはトレーニングを2つの異なる最適化段階に分解する。 まず、軽量かつテンソル化低ランクアダプタ(TT-LoRAエキスパート)を個別に訓練する。 その後、これらの専門家アダプタは凍結状態のままであり、マルチタスク設定でタスク間干渉を排除し、忘れる。 個別に訓練されたスパースMOEルータは、ベースモデル表現を動的に活用し、推論時に入力ごとに正確に1つの特別なアダプタを選択する。 総合的な実験により、我々のアーキテクチャは低ランクアダプタのメモリ効率を保ち、大きなエキスパートプールにシームレスにスケールし、堅牢なタスクレベルの最適化を実現する。
  論文  参考訳（メタデータ） (2025-04-29T21:46:43Z)
• Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning [5.074620301447097]
  本稿では,大規模言語モデル(LLM)のための専門家のアロケーションとランク設定のための階層型スキームHILOを提案する。 HILOは、層間のアダプタエキスパートの数とランクを動的に調整し、アダプタの粒度の異なるモデルレイヤの表現複雑性に適合する。 複数のベンチマークタスクの実験では、HILOが既存のメソッドよりも精度が高く、トレーニング可能なパラメータが少ないことが示されている。
  論文  参考訳（メタデータ） (2025-02-06T08:58:03Z)
• Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
  Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。 最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。 本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T17:41:23Z)
• MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
  Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。 我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
  論文  参考訳（メタデータ） (2024-08-02T18:05:10Z)
• T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
  大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。 我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Multi-Task Dense Prediction via Mixture of Low-Rank Experts [35.11968315125389]
  MLoRE(Mixture-of-Low-Rank-Experts)と呼ばれる,マルチタスクの高密度予測のためのデコーダに着目した新しい手法を提案する。 グローバルなタスク関係をモデル化するために、MLoREは元のMoE構造に汎用的な畳み込みパスを追加し、各タスク機能は、明示的なパラメータ共有のためにこのパスを通ることができる。 実験の結果,MLoREは従来のすべてのメトリクスの最先端手法に比べて優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-26T14:40:17Z)
• When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications [57.342772288710044]
  我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良い微調整フレームワークを提案する。 MOEとLoRAを統一するために、トレーニング可能なパラメータとして複数の専門家を考案し、トレーニング可能なパラメータの小さなサイズを保持するために、各専門家は2つの低ランク行列から構成される。 マルチタスク医療データセットを用いて実験を行い、MOELoRAが既存のパラメータを効率よく微調整する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-21T17:18:09Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Learning Robust State Abstractions for Hidden-Parameter Block MDPs [55.31018404591743]
  我々は、ブロックMDPにインスパイアされた堅牢な状態抽象化を実現するために、HiP-MDP設定からの共通構造の概念を活用する。 マルチタスク強化学習 (MTRL) とメタ強化学習 (Meta-RL) の両方のための新しいフレームワークのインスタンス化を導出する。
  論文  参考訳（メタデータ） (2020-07-14T17:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。