論文の概要: HiVe: Beyond Static Prompts for Multitask Learning via Hierarchy-based Vertical Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2608.29790v2
• Date: Tue, 01 Sep 2026 05:22:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 14:14:25.984324
• Title: HiVe: Beyond Static Prompts for Multitask Learning via Hierarchy-based Vertical Mixture-of-Experts
• Title（参考訳）: HiVe: 階層ベースの垂直混合によるマルチタスク学習のための静的プロンプトを超えて
• Authors: Hyeonjik Bae, Minyeol Kim, Susik Yoon,
• Abstract要約: HiVeは、複数のレベルでプロンプトをモデル化し、入力依存の特殊化を可能にするプロンプトチューニングフレームワークである。 実験によると、HiVeはさまざまなタスクに対して、強いプロンプトチューニングベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 9.080108688436466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) continue to scale, parameter-efficient fine-tuning (PEFT) has become a practical alternative to full-parameter adaptation. Prompt tuning is effective, but existing approaches either use flat prompt structures or hierarchical structures with fixed prompt composition, limiting adaptive prompt specialization. To address this limitation, we propose HiVe, a prompt tuning framework that models prompts at multiple levels and enables input-dependent specialization. HiVe constructs a prompt hierarchy by leveraging inter-task relationships during training, and employs a vertical mixture-of-experts (V-MoE) mechanism at inference time to compose prompts up to the level of specialization required for each input. Experiments show that HiVe consistently outperforms strong prompt tuning baselines across diverse tasks.
• Abstract（参考訳）: 大規模言語モデル (LLM) のスケールが拡大するにつれ、パラメータ効率の良い微調整 (PEFT) がフルパラメータ適応の実用的な代替手段となっている。 プロンプトチューニングは効果的であるが、既存のアプローチでは平坦なプロンプト構造または固定されたプロンプト構成を持つ階層構造を用い、適応的なプロンプト特殊化を制限する。 この制限に対処するため,複数のレベルのプロンプトをモデル化し,入力依存の特殊化を可能にするプロンプトチューニングフレームワークであるHiVeを提案する。 HiVeは、トレーニング中にタスク間の関係を利用してプロンプト階層を構築し、推論時に垂直混合(V-MoE)メカニズムを使用して、各入力に必要な特殊化レベルまでプロンプトを構成する。 実験により、HiVeは様々なタスクで強いプロンプトチューニングベースラインを上回っていることが示された。

関連論文リスト

• ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning [16.21619173438734]
  MLLM(Multimodal Large Language Models)は、命令チューニングによって高いパフォーマンスを達成するが、現実のデプロイメントでは、新たな視覚言語機能を取得する必要がある。 近年の手法では、画像-テキスト類似性ルーティングのMixture of LoRA Expertsのようなスパースアーキテクチャが採用されている。 プロトタイプ誘導適応チューニングフレームワークProtoAdaを提案する。
  論文  参考訳（メタデータ） (2026-06-01T17:59:13Z)
• Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning [13.499744113926505]
  DRAPEは、MCITのために連続インスタンス固有のソフトプロンプトを合成するプロンプト学習フレームワークである。 DRAPEは、代表的なプロンプトベースとLoRAベースの連続学習ベースライン間の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-11T15:59:06Z)
• pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation [68.3777121585281]
  pMoEと呼ばれる新しいMixture-of-Expertsプロンプトチューニング手法を提案する。 提案したpMoEは、幅広いタスクに対するモデルの汎用性と適用性を著しく向上させる。 本研究は,一般領域と医療領域の分類・分節を含む47の適応タスクにまたがる広範囲な実験を行った。
  論文  参考訳（メタデータ） (2026-02-26T12:27:06Z)
• Teaching Prompts to Coordinate: Hierarchical Layer-Grouped Prompt Tuning for Continual Learning [69.17264556340244]
  連続学習のための階層型階層型プロンプトチューニング手法を提案する。 i) 同じグループの層がほぼ同じプロンプトを共有し、位置符号化によって調整される。 単一のタスク固有のルートプロンプトを使用して、各レイヤグループのサブプロンプトを生成する。
  論文  参考訳（メタデータ） (2025-11-15T08:15:51Z)
• PromptFlow: Training Prompts Like Neural Networks [17.90494213352502]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクに大きな影響を与えている。 プロンプトエンジニアリングの最近の進歩は、広範囲な再訓練に代わる有望な代替手段を提供する。 本稿では,メタプロンプト,演算子,最適化,評価器にインスパイアされたモジュール型トレーニングフレームワークであるPromptFlowを提案する。
  論文  参考訳（メタデータ） (2025-10-14T07:56:12Z)
• MoPE: Mixture of Prompt Experts for Parameter-Efficient and Scalable Multimodal Fusion [29.46189153751869]
  プロンプトエキスパートの混合 (Mixture of Prompt Experts, MOPE) は、標準のプロンプトを分解することで制限を克服するために設計された最初の技術である。 本手法は, トレーニングデータとトレーニング可能なパラメータの総数により, より効果的にスケールできることを示す。
  論文  参考訳（メタデータ） (2024-03-14T17:47:10Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Prompt-Matched Semantic Segmentation [96.99924127527002]
  本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。 本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。 次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
  論文  参考訳（メタデータ） (2022-08-22T09:12:53Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。