論文の概要: CART: Compatible Routing for Multimodal Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2610.22137v1
• Date: Thu, 15 Oct 2026 16:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.184482
• Title: CART: Compatible Routing for Multimodal Continual Instruction Tuning
• Title（参考訳）: CART:マルチモーダルなインストラクションチューニングのための互換性のあるルーティング
• Abstract要約: MLLM(Multimodal Large Language Models)は,命令チューニングによって高い性能を実現する。 典型的なMLLMでは、プロジェクタが視覚表現と言語モデルとの整合に使用される。 既存のメソッドは、プロジェクタを継続的に更新しながら、言語モデルを忘れないようにする。 本稿では,プロジェクタと言語モデルの適応を明示的に調整するCompatible Routing (CART)を提案する。
• 参考スコア（独自算出の注目度）: 12.011519436646092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) achieve strong performance through instruction tuning, yet real-world applications often require them to continually acquire new capabilities from sequential tasks, i.e., Multimodal Continual Instruction Tuning (MCIT). In typical MLLMs, a projector is employed to align visual representations with the language model. However, existing methods primarily protect the language model from forgetting while continuously updating the projector across tasks. Such asymmetric adaptation can cause substantial representation drift in the projector, increasing the mismatch between the projector and language model and consequently exacerbating catastrophic forgetting. To address this issue, we propose Compatible Routing (CART), which explicitly coordinates the adaptation of the projector and language model. Specifically, CART maintains task-specific experts for both modules and combines them through weighted mixtures. CART jointly infers their weights by considering both expert relevance and cross-module compatibility, thereby promoting coordinated adaptation between the two modules. To further control model growth, we introduce relevance-guided expert consolidation, which merges experts exhibiting similar relevance profiles across samples within each module. Extensive experiments demonstrate that CART achieves state-of-the-art performance.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、命令チューニングを通じて高いパフォーマンスを達成するが、実世界のアプリケーションでは、シーケンシャルなタスク、すなわち、MCIT(Multimodal Continual Instruction Tuning)から継続的に新しい機能を取得する必要があることが多い。 典型的なMLLMでは、プロジェクタが視覚表現と言語モデルとの整合に使用される。 しかし、既存のメソッドは主にタスク間でプロジェクタを継続的に更新しながら、言語モデルが忘れることを防ぐ。 このような非対称な適応は、プロジェクターにおいて実質的な表現のドリフトを引き起こし、プロジェクターと言語モデルとのミスマッチを増大させ、破滅的な忘れを悪化させる。 この問題に対処するために,プロジェクタと言語モデルの適応を明示的に調整するCompatible Routing (CART)を提案する。 具体的には、CARTは両方のモジュールのタスク固有の専門家を維持し、それらを重み付けされた混合によって結合する。 CARTは、専門家の妥当性とモジュール間の互換性を考慮し、共同で重み付けを行い、2つのモジュール間の協調適応を促進する。 モデルの成長をさらに制御するために、各モジュール内のサンプル間で類似した関連プロファイルを示す専門家をマージする、関連誘導型エキスパート統合を導入する。 大規模な実験は、CARTが最先端のパフォーマンスを達成することを実証している。

関連論文リスト

• Progressive Multimodal Alignment for Continual Instruction Tuning [25.83401968467459]
  MLLM(Multimodal Large Language Models)は、視覚表現を言語埋め込み空間と整合させるプロジェクターである。 視覚分布のシフトと命令セマンティクスの進化は、この共有プロジェクタをドリフトさせ、プロジェクタレベルを忘れさせる。 本稿では,プログレッシブ・マルチモーダル・アライメント(PMA)について述べる。
  論文  参考訳（メタデータ） (2026-07-29T14:15:55Z)
• ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning [16.21619173438734]
  MLLM(Multimodal Large Language Models)は、命令チューニングによって高いパフォーマンスを達成するが、現実のデプロイメントでは、新たな視覚言語機能を取得する必要がある。 近年の手法では、画像-テキスト類似性ルーティングのMixture of LoRA Expertsのようなスパースアーキテクチャが採用されている。 プロトタイプ誘導適応チューニングフレームワークProtoAdaを提案する。
  論文  参考訳（メタデータ） (2026-06-01T17:59:13Z)
• InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing [87.5130783098133]
  InternVL-Uは、マルチモーダル理解と推論機能を民主化する軽量な4BパラメータUMMである。 MLLM(Multimodal Large Language Model)と特殊なMMDiTベースのビジュアルジェネレーションヘッドを統合している。 BAGEL (14B) など,さまざまな生成タスクや編集タスクにおいて,3倍以上のスケールで統一ベースラインモデルを上回るパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-10T16:38:33Z)
• Multi-modal Mutual-Guidance Conditional Prompt Learning for Vision-Language Models [21.20658517302458]
  MuGCP (Multi-modal Mutual-Guidance Conditional Prompt Learning) は、条件付きプロンプト生成のための新しいパラダイムである。 AMGモジュールはVisual Conditional Prompts (VCP)を生成し、マルチモーダルタスクにおけるモデルの性能を向上させる。 MPFメカニズムは、SCPとVCPを文脈的プロンプトと統合し、シームレスな調整を保証する。
  論文  参考訳（メタデータ） (2025-07-11T08:45:27Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Mixture of Cluster-conditional LoRA Experts for Vision-language Instruction Tuning [68.94230363140771]
  クラスター条件のLoRAエキスパート(MoCLE)の混合 MoCLEは、命令クラスタに基づいてタスクカスタマイズされたモデルパラメータを活性化するために設計された、新しいMixture of Expertsアーキテクチャである。 InstructBLIPとLLaVAの実験はMoCLEの有効性を示した。
  論文  参考訳（メタデータ） (2023-12-19T18:11:19Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。