論文の概要: A Visual Dependence-Aware Framework for Multimodal Unsupervised Continual Post-Training

• arxiv url: http://arxiv.org/abs/2608.26095v1
• Date: Wed, 26 Aug 2026 17:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:16.016194
• Title: A Visual Dependence-Aware Framework for Multimodal Unsupervised Continual Post-Training
• Title（参考訳）: マルチモーダル非教師付き継続学習のための視覚依存型フレームワーク
• Abstract要約: MLLMの既存の教師なしポストトレーニング手法は、通常、ターゲットトークンを均一に最適化する。 視覚的制約付き最適輸送(VC-OT)は、新しいタスク学習中に旧タスクVDのVD構造歪みを定式化する。 Visually Modulated Adaptation (VMA)は、VDの不均一性を利用して、視覚的に基礎付けられた新しいタスク学習を強調する。
• 参考スコア（独自算出の注目度）: 56.364526893066746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore a novel task of Multimodal Unsupervised Continual Post-Training (MU-CPT), enabling deployed MLLMs to continually evolve from streaming unlabeled data. Existing unsupervised post-training methods for MLLMs typically optimize target tokens uniformly, overlooking their heterogeneous visual dependence (VD). However, we reveal that token-level VD is crucial for MU-CPT. Specifically, its structural distortion serves as an indicator of cross-modal catastrophic forgetting, and its inherent heterogeneity acts as a compass to guide new-task learning. Leveraging this property, we propose a Visual Dependence-Aware (VDA) framework with two main components. First, Visually Constrained Optimal Transport (VC-OT) formulates the VD structural distortion of old-task VD during new-task learning as an optimal transport problem to mitigate cross-modal forgetting. By designing a region-aware ground cost and a dependence-stratified transport penalty, it prevents global shifts in visual focus while strictly prohibiting visual reliance from degenerating into language bias. Second, Visually Modulated Adaptation (VMA) exploits VD heterogeneity to emphasize visually grounded new-task learning, promoting new-task plasticity. Together, our method simultaneously maintains old-task stability and new-task plasticity during challenging MU-CPT. Extensive experiments under our MU-CPT setting validate the effectiveness of VDA.
• Abstract（参考訳）: 本稿では,Multimodal Unsupervised Continual Post-Training (MU-CPT) の新たな課題について検討する。 MLLMの既存の教師なしポストトレーニング手法は、通常、標的トークンを均一に最適化し、その不均一な視覚的依存(VD)を見渡す。 しかし,MU-CPTにはトークンレベルのVDが不可欠であることが判明した。 具体的には、その構造歪みは、クロスモーダルな破滅的忘れの指標となり、その固有の異質性は、新しいタスク学習を導くためのコンパスとして機能する。 この特性を利用して、2つの主要コンポーネントを持つVisual Dependence-Aware(VDA)フレームワークを提案する。 第一に、視覚的制約付き最適輸送(VC-OT)は、新しいタスク学習における古いタスクVDの構造歪みを最適輸送問題として定式化し、モーダルな忘れを和らげる。 地域対応の地上コストと依存階層化輸送ペナルティを設計することにより、視覚的焦点のグローバルシフトを防ぎ、視覚的依存が言語バイアスに退避することを厳格に禁止する。 第二に、Visually Modulated Adaptation (VMA)は、VDの不均一性を利用して、視覚的に基礎付けられた新しいタスク学習を強調し、新しいタスクの可塑性を促進する。 本手法は,MU-CPTの課題において,従来型安定性と新型塑性を同時に維持する。 MU-CPT設定下での広範囲な実験により, VDAの有効性が検証された。

関連論文リスト

• UAM: A Dual-Stream Perspective on Forgetting in VLA Training [20.50709311546184]
  視覚-言語-アクションモデル(VLAモデル、Vision- Language-action Model)は、通常、予め訓練された視覚-言語モデル(VLM)をアクションデータに微調整することによって構築される。 本稿では,この標準レシピがVLMのマルチモーダル能力を体系的に損なうことを示す。 生物学的ビジョンの2ストリームの組織にインスパイアされたこの劣化は、構造的ボトルネックまで遡る。
  論文  参考訳（メタデータ） (2026-05-15T08:45:37Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• UV-M3TL: A Unified and Versatile Multimodal Multi-Task Learning Framework for Assistive Driving Perception [71.19234323863314]
  運転者の行動、運転者の感情、車両の行動、交通状況を同時に認識する枠組みを提案する。 本フレームワークは,デュアルブランチ空間チャネルのマルチモーダル埋め込みと適応的特徴分離型マルチタスク損失の2つのコアコンポーネントを組み込んでいる。 提案手法をAIDEデータセット上で評価し,UV-M3TLが4つのタスクすべてにおいて最先端の性能を達成することを示す実験結果を得た。
  論文  参考訳（メタデータ） (2026-02-02T03:35:24Z)
• Learning with Preserving for Continual Multitask Learning [4.847042727427382]
  タスク出力の保存から共有表現空間の維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を紹介した。 LwPは破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-11T22:23:20Z)
• DAM: Dual Active Learning with Multimodal Foundation Model for Source-Free Domain Adaptation [53.323488295994395]
  ソースフリーアクティブドメイン適応(SFADA)は、アクティブラーニングによって選択された限られた手動ラベルを用いて、ソースモデルから未ラベルのターゲットドメインへの知識伝達を強化する。 マルチモーダル・ファンデーション・モデルを用いたデュアルアクティブ・ラーニング(DAM)を提案する。 大規模な実験では、DAMは既存のメソッドを一貫して上回り、複数のSFADAベンチマークとアクティブな学習戦略で新しい最先端の手法を設定できる。
  論文  参考訳（メタデータ） (2025-09-29T15:06:56Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。