論文の概要: Continual Adaptation Across Modalities: Learning and Forgetting in Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2610.38436v1
• Date: Wed, 28 Oct 2026 08:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.383755
• Title: Continual Adaptation Across Modalities: Learning and Forgetting in Unified Multimodal Models
• Title（参考訳）: モダリティ間の連続的適応:統一型マルチモーダルモデルにおける学習と学習
• Abstract要約: 統一マルチモーダルモデル(UMM)は単一のフレームワーク内で様々なモダリティを処理および生成することができる。 アーキテクチャ設計と適応手法がモーダル内学習と、生成側と理解側との相互干渉をどのように形成するかを検討する。
• 参考スコア（独自算出の注目度）: 79.97413021087091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models (UMMs), which can process and generate diverse modalities within a single framework, have recently emerged as a powerful paradigm. However, when these models undergo continual learning on multiple tasks across different modalities, their learning and forgetting dynamics remain poorly understood. In this paper, we systematically investigate how architectural design and adaptation method shape intra-modal learning and cross-modal interference between the generation and understanding sides. Specifically, we report three findings. First, the severity of cross-modal interference decreases with the degree of modality-specific parameter isolation. Second, a within-model asymmetry: the generation side of a UMM is markedly more fragile than its understanding side. Third, what post-training adds is the first to be forgotten: purely post-training capabilities such as personalized generation collapse by 84\% to 90\%, while pretraining capabilities remain stable. Together, these results clarify how parameter isolation and post-training fragility shape UMMs' learning and forgetting dynamics, offering a starting point for developing continually evolving UMMs.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、単一のフレームワーク内で様々なモダリティを処理し、生成することができるが、最近、強力なパラダイムとして登場した。 しかし、これらのモデルが異なるモダリティをまたいだ複数のタスクにおいて連続的な学習を行う場合、その学習とダイナミクスの忘れ方はまだよく分かっていない。 本稿では,アーキテクチャ設計と適応手法がモーダル内学習をどのように形成し,生成側と理解側を相互に干渉するかを体系的に検討する。 具体的には,3つの知見を報告する。 第一に、モダリティ特異的パラメータ分離の度合いによって、クロスモーダル干渉の重大度が減少する。 第二に、モデル内非対称性: UMMの生成側は理解側よりも明らかに脆弱である。 純粋に、パーソナライズされた生成の崩壊のような、パーソナライズされたポストトレーニング能力は84\%から90\%に低下する一方で、事前トレーニング能力は安定している。 これらの結果は,パラメータ分離と後学習の脆弱さが,UMMの学習やダイナミクスの忘れ方をどのように形成し,進化を続けるUMMの開発の出発点となるかを明らかにする。

関連論文リスト

• Free Lunch for Unified Multimodal Models: Enhancing Generation via Reflective Rectification with Inherent Understanding [20.397510070808238]
  統一マルチモーダルモデル(UMM)は、視覚的理解と生成を単一の構造に統合することを目的としている。 UMMは、その理解能力が世代を著しく上回る、顕著な能力ミスマッチを示す。 そこで我々は,UniRect-CoT(UniRect-CoT)を提案する。
  論文  参考訳（メタデータ） (2026-04-15T06:41:56Z)
• Pseudo-Unification: Entropy Probing Reveals Divergent Information Patterns in Unified Multimodal Models [34.752290343546754]
  統一モデル(UMM)は、大型言語モデル(LLM)の推論能力と視覚モデルの生成能力を組み合わせた設計である。 UMMはLLMライクな推論を画像合成に転送できず、発散反応の挙動を示す。 本稿では,UMMが入力をエンコードして出力を生成する方法を共同で分析する情報理論探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-13T03:46:45Z)
• Self-Supervised Flow Matching for Scalable Multi-Modal Synthesis [34.5994686982342]
  強い意味表現は拡散と流れモデルの収束と生成の質を向上させる。 既存のアプローチは、主に外部モデルに依存しており、個別のトレーニングが必要であり、不整合した目標を運用し、予期しないスケーリングの振る舞いを示す。 本稿では,自己制御型フローマッチングパラダイムであるSelf-Flowを紹介する。
  論文  参考訳（メタデータ） (2026-03-06T17:41:49Z)
• Quantifying the Gap between Understanding and Generation within Unified Multimodal Models [66.07644743841007]
  GapEvalは、理解と生成能力のギャップを定量化するために設計されたベンチマークである。 実験により、幅広いUMMにわたる2つの方向の連続的なギャップが明らかになる。 以上の結果から,UMM内の知識は相容れないことが多いことが示唆された。
  論文  参考訳（メタデータ） (2026-02-02T14:19:37Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Unisoma: A Unified Transformer-based Solver for Multi-Solid Systems [21.697159152687288]
  構造化モジュールによる固体変形に影響を及ぼす要因を組み込んだ,新しい明示的モデリングパラダイムを導入する。 具体的には,ソリッドの可変数の処理が可能な統一かつ柔軟なトランスフォーマーモデルであるUnisomaを提案する。 暗黙的なモデリング手法と比較して、明示的なモデリングは多様な結合パターンを持つマルチソリッドシステムに適している。
  論文  参考訳（メタデータ） (2025-06-06T12:12:02Z)
• Continual Multimodal Contrastive Learning [99.53621521696051]
  MCL(Multimodal Contrastive Learning)は、異なるモダリティを整列し、関節空間におけるマルチモーダル表現を生成する。 マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。 本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。 理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
  論文  参考訳（メタデータ） (2025-03-19T07:57:08Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。