論文の概要: Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2605.10765v1
• Date: Mon, 11 May 2026 15:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.962443
• Title: Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning
• Title（参考訳）: マルチモーダルインストラクションチューニングのための動的クロスモーダルプロンプト生成
• Abstract要約: DRAPEは、MCITのために連続インスタンス固有のソフトプロンプトを合成するプロンプト学習フレームワークである。 DRAPEは、代表的なプロンプトベースとLoRAベースの連続学習ベースライン間の最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 13.499744113926505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) achieve strong performance through instruction tuning, yet real-world deployment often requires continual capability expansion across sequential tasks. In such scenarios, Multimodal Continual Instruction Tuning (MCIT) aims to acquire new capabilities while limiting catastrophic forgetting. Existing methods mainly follow a module-composition paradigm: they maintain task-level prompts or LoRA experts and dynamically route or aggregate a subset of them at inference. However, samples within the same task can still differ substantially in visual scenes, question intents, and reasoning demands. This motivates instance-level adaptation to individual query-image pairs rather than only selecting or combining task-level modules. To this end, we propose DRAPE (Dynamic Cross-Modal Prompt Generation), a prompt-learning framework that synthesizes continuous instance-specific soft prompts for MCIT. Instead of selecting prompts from a fixed pool, DRAPE derives prompt queries from the textual instruction and cross-attends to visual patch features, producing query-image conditioned prompts that are prepended to the frozen LLM. To mitigate forgetting during sequential updates, DRAPE applies null-space gradient projection to the shared projector and uses CLIP-based prototype routing for task-label-free generator selection at inference. Extensive experiments on MCIT benchmarks show that DRAPE achieves state-of-the-art performance among representative prompt-based and LoRA-based continual-learning baselines.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、命令チューニングによって高いパフォーマンスを達成するが、現実のデプロイメントでは、シーケンシャルタスク間で連続的な機能拡張を必要とすることが多い。 このようなシナリオでは、MCIT(Multimodal Continual Instruction Tuning)は、破滅的な忘れを抑えながら、新しい機能の獲得を目指している。 既存のメソッドは主にモジュール構成パラダイムに従っており、タスクレベルのプロンプトやLoRAの専門家を維持し、推論時にそのサブセットを動的にルートまたは集約する。 しかし、同じタスク内のサンプルは、視覚的なシーン、質問意図、推論要求において、依然として大きく異なる可能性がある。 これは、タスクレベルのモジュールを選択したり組み合わせたりするのではなく、個々のクエリイメージペアへのインスタンスレベルの適応を動機付ける。 そこで我々は,MCITのための連続インスタンス固有のソフトプロンプトを合成するプロンプト学習フレームワークであるDRAPE(Dynamic Cross-Modal Prompt Generation)を提案する。 固定プールからプロンプトを選択する代わりに、DRAPEはテキスト命令とクロスアタッチメントからビジュアルパッチ機能へのプロンプトクエリを導出し、フリーズされたLLMにプリフィックスされたクエリ-イメージ条件付きプロンプトを生成する。 逐次更新時の忘れを緩和するため、DRAPEは共有プロジェクタにnull空間勾配プロジェクションを適用し、CLIPベースのプロトタイプルーティングを使用して推論時にタスクラベルなしジェネレータの選択を行う。 MCITベンチマークの大規模な実験は、DRAPEが代表的プロンプトベースとLoRAベースの連続学習ベースラインで最先端のパフォーマンスを達成することを示している。

関連論文リスト

• FRAMEWORKERS: A Dynamic Multi-Agent Framework for AI-Generated Video Production [55.71860113185132]
  本稿では,タスク中心のマルチエージェントフレームワークであるFRAMEWORKERSを紹介した。 Central Directorは、ビデオ生成を動的タスク管理として定式化し、タスクスタックを継続的に編集して、次にどのサブタスクを実行するか、どのサブエージェントを呼び出すかを決定する。 アシスタントは実行層として機能し、選択した各タスクを共有ワークスペースに接地し、必要なアセットとコンテキストを検索し、割り当てられたサブエージェントを呼び出し、結果のアーティファクトを永続化する。 FRAMEWORKERSは、ルーティング精度において強いプランナーよりも優れ、実行時の障害から確実に回復し、目に見えないサブに一般化することを示した。
  論文  参考訳（メタデータ） (2026-08-30T14:28:50Z)
• InA-Probe: Instruction-Aware Active Probing for Time Series Forecasting with LLMs [45.91332553359387]
  大規模言語モデル(LLM)は、最近、時系列予測の驚くべき可能性を実証した。 Instruction-aware Active Probing (InA-Probe)を提案する。 実験では、InA-Probeは最先端のディープラーニングとLLMベースのベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-07T12:27:13Z)
• ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning [16.21619173438734]
  MLLM(Multimodal Large Language Models)は、命令チューニングによって高いパフォーマンスを達成するが、現実のデプロイメントでは、新たな視覚言語機能を取得する必要がある。 近年の手法では、画像-テキスト類似性ルーティングのMixture of LoRA Expertsのようなスパースアーキテクチャが採用されている。 プロトタイプ誘導適応チューニングフレームワークProtoAdaを提案する。
  論文  参考訳（メタデータ） (2026-06-01T17:59:13Z)
• AR-MOT: Autoregressive Multi-object Tracking [56.09738000988466]
  本稿では,大規模言語モデル(LLM)フレームワーク内のシーケンス生成タスクとしてMOTを定式化する,新しい自己回帰パラダイムを提案する。 この設計により、タスク固有のヘッドを必要とせずに、フレキシブルなシーケンス構成によって構造化された結果を出力できる。 地域レベルの視覚知覚を高めるために,事前訓練された検出器に基づくオブジェクト・トケナイザを導入する。
  論文  参考訳（メタデータ） (2026-01-05T09:17:28Z)
• Teaching Prompts to Coordinate: Hierarchical Layer-Grouped Prompt Tuning for Continual Learning [69.17264556340244]
  連続学習のための階層型階層型プロンプトチューニング手法を提案する。 i) 同じグループの層がほぼ同じプロンプトを共有し、位置符号化によって調整される。 単一のタスク固有のルートプロンプトを使用して、各レイヤグループのサブプロンプトを生成する。
  論文  参考訳（メタデータ） (2025-11-15T08:15:51Z)
• TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems [21.312052922118585]
  時間的関係抽出(TRE)は、出来事や行動の進化を把握し、関連するタスクのワークフローを形成することを目的としている。 本稿では,TRE(TemPrompt)のためのマルチタスク・プロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-21T01:52:37Z)
• Fine-tuning Large Language Models with Sequential Instructions [2.546845645875049]
  既存の命令調整モデルでは、複数の命令でクエリに応答するのに苦労していることがわかった。 我々は、微調整データの一部がシーケンシャルに関連したタスクの連鎖を含むべきであると論じる。 既存のデータセットの命令を多種多様な複雑なシーケンシャルな命令に変換することで、このプロセスを自動化する。 逐次指導チューニングを行ったモデルでは、符号化、数学、オープンエンド生成の結果が改善された。
  論文  参考訳（メタデータ） (2024-03-12T16:33:30Z)
• SMAUG: A Sliding Multidimensional Task Window-Based MARL Framework for Adaptive Real-Time Subtask Recognition [11.236363226878975]
  サブタスクベースのマルチエージェント強化学習(MARL)手法により、エージェントは異なるサブタスクに対処する方法を学ぶことができる。 textbfSliding textbfMultidimensional ttextbfAsk window based mtextbfUti-agent reinforcement learnintextbfG framework (SMAUG) を提案する。 StarCraft IIの実験では、SMAUGはすべてのベースラインと比較してパフォーマンス上の優位性を示すだけでなく、より顕著で迅速な報酬の上昇を示す。
  論文  参考訳（メタデータ） (2024-03-04T08:04:41Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
  本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。 実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。 我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
  論文  参考訳（メタデータ） (2023-03-06T06:04:46Z)
• Prompting Decision Transformer for Few-Shot Policy Generalization [98.0914217850999]
  本稿では,オフラインRLにおける少数ショット適応を実現するために,Prompt-based Decision Transformer (Prompt-DT)を提案する。 Prompt-DTは、目に見えないターゲットタスクを微調整することなく、強力な数発の学習者である。
  論文  参考訳（メタデータ） (2022-06-27T17:59:17Z)
• Support-set based Multi-modal Representation Enhancement for Video Captioning [121.70886789958799]
  サンプル間で共有されるセマンティックサブ空間において、リッチな情報をマイニングするためのサポートセットベースのマルチモーダル表現拡張(SMRE)モデルを提案する。 具体的には、サンプル間の基礎となる関係を学習し、意味的関連視覚要素を得るためのサポートセットを構築するためのサポートセット構築(SC)モジュールを提案する。 本研究では,SST(Semantic Space Transformation)モジュールを設計し,相対距離を制約し,マルチモーダルインタラクションを自己管理的に管理する。
  論文  参考訳（メタデータ） (2022-05-19T03:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。