Fugu-MT 論文翻訳(概要): Progressive Multimodal Alignment for Continual Instruction Tuning

論文の概要: Progressive Multimodal Alignment for Continual Instruction Tuning

arxiv url: http://arxiv.org/abs/2607.26947v2
Date: Fri, 31 Jul 2026 09:19:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-03 14:29:40.29104
Title: Progressive Multimodal Alignment for Continual Instruction Tuning
Title（参考訳）: 連続的指導チューニングのためのプログレッシブ・マルチモーダルアライメント
Authors: Duzhen Zhang, Yahan Yu, Qiaoyi Su, Jiahua Dong, Tielin Zhang,
Abstract要約: MLLM(Multimodal Large Language Models)は、視覚表現を言語埋め込み空間と整合させるプロジェクターである。視覚分布のシフトと命令セマンティクスの進化は、この共有プロジェクタをドリフトさせ、プロジェクタレベルを忘れさせる。本稿では,プログレッシブ・マルチモーダル・アライメント(PMA)について述べる。
参考スコア（独自算出の注目度）: 25.83401968467459
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Large Language Models (MLLMs) rely on a projector to align visual representations with the language embedding space, making it central to cross-modal understanding. In Multimodal Continual Instruction Tuning (MCIT), however, shifting visual distributions and evolving instruction semantics cause this shared projector to drift, leading to projector-level forgetting, an issue largely overlooked by methods that focus primarily on the LLM backbone. We introduce Progressive Multimodal Alignment (PMA), a framework that enables the projector to adapt continually while preserving previously learned alignment. PMA detects multimodal distribution shifts via a lightweight representation descriptor and progressively expands projector experts only when needed. An expandable router integrates expert outputs based on multimodal features, while the original pretrained projector is retained as a stable alignment anchor. This progressive mechanism balances stability and plasticity with sub-linear parameter growth and serves as a method-agnostic add-on to existing MCIT approaches. Extensive experiments on two recent MCIT benchmarks demonstrate that mitigating projector-level forgetting yields consistent gains over prior state-of-the-art methods when combined with PMA. Moreover, PMA scales across diverse MLLM backbones, demonstrating robust and broadly applicable MCIT performance.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚表現を言語埋め込み空間と整合させるプロジェクタに依存し、言語間の理解の中心となる。しかし、MCIT (Multimodal Continual Instruction Tuning) では、視覚分布のシフトと命令セマンティクスの進化により、この共有プロジェクタがドリフトし、プロジェクタレベルの忘れが生じる。本稿では,プログレッシブ・マルチモーダル・アライメント(PMA)について述べる。 PMAは軽量な表現記述子を通じてマルチモーダル分布シフトを検出し、必要に応じてプロジェクタの専門家を段階的に拡張する。拡張可能なルータはマルチモーダルの特徴に基づいて専門家の出力を統合するが、元の事前訓練されたプロジェクタは安定したアライメントアンカーとして保持される。このプログレッシブメカニズムは、安定性と塑性とサブ線形パラメータ成長のバランスを保ち、既存のMCITアプローチへのメソッドに依存しないアドオンとして機能する。最近の2つのMCITベンチマークの大規模な実験により、プロジェクターレベルの忘れを軽減すれば、PMAと組み合わせた従来の最先端手法よりも一貫した利得が得られることが示された。さらに、PMAは多様なMLLMバックボーンをスケールし、堅牢で広く適用可能なMCIT性能を示す。

関連論文リスト

PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging [80.17966517536102]
マルチモーダル大規模言語モデルの事前学習の核心は、効果的なクロスモーダルアライメントの確立にあると論じる。この知見に触発されて,マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした,アライメント後のマージタスクを導入する。クロスモーダルプロジェクタのためのアライメント後マージフレームワークであるPivotMergeを提案する。
論文参考訳（メタデータ） (2026-04-18T09:38:03Z)
Knowledge is Power: Advancing Few-shot Action Recognition with Multimodal Semantics from MLLMs [37.35588113092876]
我々は,FSARの強化のためのマルチモーダル知識基盤としてMLLMを利用する最初のエンドツーエンド手法であるFSAR-LLaVAを提案する。まず,MLLMのマルチモーダルデコーダを用いて時間的・意味的に豊かな表現を抽出する。次に,MLLMの汎用性を活用して,多様なシナリオに柔軟に対応する入力プロンプトを構築する。最後に,マルチモーダルな特徴を併用してメトリック学習をガイドするために,トレーニング不要なマルチモーダルプロトタイプマッチングメトリクスを導入する。
論文参考訳（メタデータ） (2026-03-27T03:05:56Z)
Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
論文参考訳（メタデータ） (2026-02-03T14:48:12Z)
From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。 CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文参考訳（メタデータ） (2026-01-15T18:59:10Z)
Segmentation as A Plug-and-Play Capability for Frozen Multimodal LLMs [9.6979217203587]
LENS(Leveraging kEypoiNts for MLLMs)は,新しいプラグアンドプレイソリューションである。 LENSは軽量で訓練可能なヘッドを完全に凍結されたMLLMに取り付ける。セグメンテーション性能は、リトレーニングベースの手法と競合するか、優れている。
論文参考訳（メタデータ） (2025-10-19T10:21:01Z)
Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents [55.82787697101274]
Bifrost-1は、事前訓練されたマルチモーダルLLM(MLLM)と拡散モデルをブリッジする統合フレームワークである。予め訓練したMLLMと拡散モデルとパッチレベルのCLIPラプタントをシームレスに統合することにより,高忠実度制御可能な画像生成を実現する。実験の結果,Bifrost-1は視覚的忠実度やマルチモーダル理解の観点から,従来の手法と同等あるいは優れた性能を達成できた。
論文参考訳（メタデータ） (2025-08-08T02:38:47Z)
SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。コードとモデルはリリースされます。
論文参考訳（メタデータ） (2024-12-12T18:59:26Z)
Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
論文参考訳（メタデータ） (2024-10-10T17:59:22Z)
EMMA: Empowering Multi-modal Mamba with Structural and Hierarchical Alignment [39.870809905905325]
微細な視覚情報を抽出するための構造的・階層的アライメント(EMMA)を用いたマルチモーダルマンバのエンパワーディングを提案する。本モデルでは,他のマンバ系MLLMよりもレイテンシが低く,推論時の変圧器系MLLMよりも約4倍高速であることを示す。
論文参考訳（メタデータ） (2024-10-08T11:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。