論文の概要: PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts

• arxiv url: http://arxiv.org/abs/2605.14055v1
• Date: Wed, 13 May 2026 19:25:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.477925
• Title: PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts
• Title（参考訳）: PEML: パラメータ効率のよいマルチタスク学習
• Authors: Anjir Ahmed Chowdhury, Syed Zawad, Xiaolong Ma, Xu Dong, Feng Yan,
• Abstract要約: 大規模言語モデル (LLM) を様々なタスクに適用するために, PEFT (Efficient Fine-Tuning) が広く用いられている。 LLMはリソース要求であり、複数のタスクのための単一のモデルをデプロイすることで、リソースの集約が容易になる。 本稿では,連続的なプロンプトを最適化するためのニューラルネットワーク工学手法を用いて,効率的なマルチタスク学習(PM)を提案する。
• 参考スコア（独自算出の注目度）: 10.39909513845832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) is widely used for adapting Large Language Models (LLMs) for various tasks. Recently, there has been an increasing demand for fine-tuning a single LLM for multiple tasks because it requires overall less data for fine-tuning thanks to the common features shared among tasks. More importantly, LLMs are resource demanding and deploying a single model for multiple tasks facilitates resource consolidation and consumes significantly less resources compared to deploying individual large model for each task. Existing PEFT methods like LoRA and Prefix Tuning are designed to adapt LLMs to a specific task. LoRA and its variation focus on aligning the model itself for tasks, overlooking the importance of prompt tuning in multi-task learning while Prefix Tuning only adopts a simple architecture to optimize prompts, which limits the adaption capabilities for multi-task. To enable efficient fine-tuning for multi-task learning, it is important to co-optimize prompt optimization and model adaptation. In this work, we propose a Parameter-Efficient Multi-task Learning (\PM), which employs a neural architecture engineering method for optimizing the continuous prompts while also performing low-rank adaption for model weights. We prototype PEML by creating an automated framework for optimizing the continuous prompts and adapting model weights. We evaluate PEML against state-of-the-arts multi-task learning methods MTL-LoRA, MultiLoRa, C-Poly, and MoE, on the GLUE, SuperGLUE, Massive Multitask Language Understanding, and commonsense reasoning benchmarks. The evaluation results present an average accuracy improvement of up to 6.67%, with individual tasks showing peak gains of up to 10.75%.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は、様々なタスクにLLM(Large Language Models)を適用するために広く使われている。 近年,複数のタスクに対して単一LSMを微調整する必要性が高まっている。 さらに重要なことは、LLMはリソース要求であり、複数のタスクのための単一のモデルをデプロイすることで、リソースの集約が容易になり、各タスクに対する個々の大きなモデルをデプロイするのに比べて、リソースの消費が著しく少なくなります。 LoRAやPrefix Tuningのような既存のPEFTメソッドは、特定のタスクにLLMを適用するように設計されている。 LoRAとそのバリエーションは、タスクに対するモデル自体の整合性に注目し、マルチタスク学習におけるプロンプトチューニングの重要性を見越す一方で、Prefix Tuningはプロンプトを最適化するために単純なアーキテクチャを採用し、マルチタスクへの適応能力を制限している。 マルチタスク学習のための効率的な微調整を実現するためには,迅速な最適化とモデル適応の併用が重要である。 本研究では,モデル重みに対する低ランク適応を行いながら連続的なプロンプトを最適化するニューラルネットワーク工学手法を用いて,パラメータ効率の良いマルチタスク学習(\PM)を提案する。 連続的なプロンプトを最適化し、モデルの重みを適応する自動化フレームワークを作成することで、PEMLを試作する。 MTL-LoRA, MultiLoRa, C-Poly, MoEに対して, GLUE, SuperGLUE, Massive Multitask Language Understanding, Commonsense reasoning benchmarksを用いてPEMLを評価した。 評価の結果、平均精度は6.67%向上し、個々のタスクは最大で10.75%向上した。

関連論文リスト

• One Model, Many Skills: Parameter-Efficient Fine-Tuning for Multitask Code Analysis [21.26459132144385]
  コード解析のためのマルチタスクPEFTの総合評価を行った。 実験の結果、1つのPEFTモジュールが一致し、場合によっては完全なマルチタスクの微調整に勝ることがわかった。 我々は,オープンソースの汎用LLMの直接的プロンプトに対して,効率的なマルチタスクPEFTをベンチマークする。
  論文  参考訳（メタデータ） (2026-02-03T15:07:11Z)
• MeTA-LoRA: Data-Efficient Multi-Task Fine-Tuning for Large Language Models [19.55984142351919]
  マルチタスク適応におけるデータ効率を大幅に向上する2段階最適化フレームワークであるMeTA-LoRAを紹介する。 マルチタスク学習と多言語学習の両方のシナリオにおいて、我々の手法は従来の全データLoRAファインチューニング手法の性能と一致するか、上回っている。
  論文  参考訳（メタデータ） (2025-10-13T16:37:40Z)
• Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
  大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。 既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。 ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
  論文  参考訳（メタデータ） (2025-10-06T10:44:04Z)
• MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning [18.0412262027514]
  マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。 各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。 また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
  論文  参考訳（メタデータ） (2025-05-28T12:32:09Z)
• Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment [58.94611347128066]
  マルチモーダル大言語モデル(MLLM)は、視覚のきめ細やかな理解に苦しむ。 近年の研究では、ツールの使用や視覚的なタスクを自動回帰フレームワークに統一する手法が開発されており、多くの場合、全体的なマルチモーダルパフォーマンスを犠牲にしている。 本稿では,典型的な視覚的タスクから派生した微分可能なタスク選好を利用する新しい手法であるタスク選好最適化(TPO)を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:56:05Z)
• AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
  AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。 複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。 最先端の刈り取り法に比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-07T17:19:15Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。