論文の概要: Dynamic Prompt Fusion for Multi-Task and Cross-Domain Adaptation in LLMs

• arxiv url: http://arxiv.org/abs/2509.18113v1
• Date: Tue, 09 Sep 2025 23:42:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-28 15:30:14.370976
• Title: Dynamic Prompt Fusion for Multi-Task and Cross-Domain Adaptation in LLMs
• Title（参考訳）: LLMにおけるマルチタスクおよびクロスドメイン適応のための動的プロンプト融合
• Authors: Xin Hu, Yue Kang, Guanzi Yao, Tianze Kang, Mengjie Wang, Heyao Liu,
• Abstract要約: 本研究では,動的プロンプトスケジューリング機構を備えたマルチタスク学習フレームワークを提案する。 これにより、タスク間のセマンティックな違いをキャプチャするモデルの能力が向上する。 重みをスケジューリングするための自動学習戦略が組み込まれており、タスクの干渉や負の転送を効果的に軽減する。
• 参考スコア（独自算出の注目度）: 2.852258765983155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study addresses the generalization limitations commonly observed in large language models under multi-task and cross-domain settings. Unlike prior methods such as SPoT, which depends on fixed prompt templates, our study introduces a unified multi-task learning framework with dynamic prompt scheduling mechanism. By introducing a prompt pool and a task-aware scheduling strategy, the method dynamically combines and aligns prompts for different tasks. This enhances the model's ability to capture semantic differences across tasks. During prompt fusion, the model uses task embeddings and a gating mechanism to finely control the prompt signals. This ensures alignment between prompt content and task-specific demands. At the same time, it builds flexible sharing pathways across tasks. In addition, the proposed optimization objective centers on joint multi-task learning. It incorporates an automatic learning strategy for scheduling weights, which effectively mitigates task interference and negative transfer. To evaluate the effectiveness of the method, a series of sensitivity experiments were conducted. These experiments examined the impact of prompt temperature parameters and task number variation. The results confirm the advantages of the proposed mechanism in maintaining model stability and enhancing transferability. Experimental findings show that the prompt scheduling method significantly improves performance on a range of language understanding and knowledge reasoning tasks. These results fully demonstrate its applicability and effectiveness in unified multi-task modeling and cross-domain adaptation.
• Abstract（参考訳）: 本研究では,マルチタスクおよびクロスドメイン設定下において,大規模言語モデルで一般的に見られる一般化の限界に対処する。 固定的なプロンプトテンプレートに依存するSPoTのような従来の手法とは異なり,本研究では動的プロンプトスケジューリング機構を備えたマルチタスク学習フレームワークを提案する。 プロンプトプールとタスク対応スケジューリング戦略を導入することで、異なるタスクに対してプロンプトを動的に組み合わせ、アライメントする。 これにより、タスク間のセマンティックな違いをキャプチャするモデルの能力が向上する。 プロンプト融合の間、モデルはタスク埋め込みとゲーティング機構を使用して、プロンプト信号を微妙に制御する。 これにより、プロンプトコンテントとタスク固有の要求のアライメントが保証される。 同時に、タスク間でフレキシブルな共有パスを構築する。 さらに,提案手法は共同マルチタスク学習に重点を置いている。 重みをスケジューリングするための自動学習戦略が組み込まれており、タスクの干渉や負の転送を効果的に軽減する。 本手法の有効性を評価するため, 一連の感度実験を行った。 これらの実験は, 温度パラメータとタスク数の変化の影響について検討した。 その結果,モデル安定性の維持と伝達性の向上において,提案手法の利点が確認された。 実験結果から,プロンプトスケジューリング手法は,言語理解および知識推論タスクにおける性能を著しく向上させることがわかった。 これらの結果は、統合マルチタスクモデリングとクロスドメイン適応における適用性と有効性を完全に証明している。

関連論文リスト

• IAP: Improving Continual Learning of Vision-Language Models via Instance-Aware Prompting [45.392113146092306]
  マルチドメイン・タスク・インクリメンタル・ラーニングにおいて,多様なタスクに対するプロンプト・デザインを最適化する課題に取り組む。 我々のIA-GP戦略は,忘れを軽減しつつ,新しいタスクへの適応を促進する。 事例対応型クラス分散型プロンプト(IA-CDDP)は,各事例に対して正確なタスクラベル関連信頼スコアを決定することにより,タスク適応プロセスを改善する。
  論文  参考訳（メタデータ） (2025-03-26T14:59:23Z)
• Active Fine-Tuning of Multi-Task Policies [54.65568433408307]
  AMF(Active Multi-task Fine-tuning)を提案する。 我々は,AMFの性能保証を規則性仮定で導き,複雑・高次元環境における実験的有効性を示す。
  論文  参考訳（メタデータ） (2024-10-07T13:26:36Z)
• Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition [0.0]
  マルチタスクのプロンプトチューニングは、その固有のモジュラリティと、パラメータ効率のよい転送学習を向上する可能性に対して、かなりの注意を払っている。 本稿では,マルチタスク環境において,対応するプロンプト間の知識伝達を容易にすることで,複数のタスクのパフォーマンスを解析・改善することを目的とする。
  論文  参考訳（メタデータ） (2024-08-23T17:01:51Z)
• Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning [10.782043595405831]
  我々は、生成的対向ネットワークの枠組みに基づく複数のタスクを伴う状況に対して、エンパワーメントに基づく正規化手法を拡張した。 未知のダイナミクスを持つマルチタスク環境下では、ラベルのない専門家の例から報酬とポリシーを学ぶことに集中する。 提案手法は, 状況的相互情報の変動的下限を導出し, 最適化する。
  論文  参考訳（メタデータ） (2022-06-19T22:32:41Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。