論文の概要: Regularizing modality contribution drift in multimodal continual learning
- arxiv url: http://arxiv.org/abs/2607.27260v1
- Date: Wed, 29 Jul 2026 05:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.272424
- Title: Regularizing modality contribution drift in multimodal continual learning
- Title（参考訳）: 多モード連続学習における正規化モダリティ寄与ドリフト
- Abstract要約: 本稿では,従来学習されていたタスクの構造を維持するためにCMCDR(Continuous Modality Contribution Drift Regularization)を提案する。
リプレイベースのバージョンでは、現在のタスクサンプルをプローブとして使用し、凍結したモデルの古いタスクのコントリビューション応答を蒸留する。
リプレイフリー版では、現在のタスクサンプルをプローブとして使用し、凍結したモデルの古いタスクのコントリビューション応答を蒸留する。
- 参考スコア（独自算出の注目度）: 11.891849320494174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal continual learning (MMCL) aims to learn emerging knowledge from multimodal data while preserving knowledge. To mitigate forgetting, current MMCL methods usually focus on cross-modal representation alignment or semantic similarity, but they overlook whether the relative contributions of individual modalities and their interactions remain stable across incremental tasks. We term this decision-level shift Modality Contribution Drift (MCD) and quantify it with the MCD score, which combines contribution-strength and relative-reliance changes under controlled interventions on modality subsets. Theoretical and empirical analyses further explain why current MMCL methods cannot reliably mitigate this drift. To this end, we propose Continual Modality Contribution Drift Regularization (CMCDR), which preserves the modality contribution structure of previously learned tasks. Since MMCL settings differ in whether old exemplars are available, CMCDR includes both replay-based and replay-free versions. The replay-based version uses modality-subset interventions as diagnostic probes on stored old samples, compares their contribution profiles between the current model and a frozen previous model, and constrains changes in old-sample modality-specific and interaction contributions. The replay-free version uses current-task samples as probes and distills the frozen model's old-task contribution responses, thereby regularizing the observed contribution profile without exemplars. Experiments on multimodal class-incremental learning and continual visual question answering validate the generality and effectiveness of CMCDR.
- Abstract（参考訳）: マルチモーダル連続学習(MMCL)は、知識を保存しながら、マルチモーダルデータから新しい知識を学習することを目的としている。
忘れを和らげるために、現在のMMCL法は、通常、相互モーダル表現のアライメントや意味的類似性に焦点を当てるが、個々のモーダルの相対的寄与とそれらの相互作用がインクリメンタルタスク全体にわたって安定しているかどうかを見落としている。
我々は、この決定レベルシフト・モダリティ・コントリビューション・ドリフト(MCD)を、モダリティ・サブセットの制御された介入の下で、コントリビューション強度と相対信頼度の変化を組み合わせたMDDスコアと定量化する。
理論的および実証的な分析により、現在のMMCL法がこのドリフトを確実に緩和できない理由がさらに説明される。
そこで本稿では,従来学習されていたタスクのモダリティコントリビューション構造を保持するCMCDR(Continuous Modality Contribution Drift Regularization)を提案する。
MMCL設定は古い例があるかどうかが異なるため、CMCDRにはリプレイベース版とリプレイフリー版の両方が含まれている。
リプレイベースのバージョンでは、保存された古いサンプルの診断プローブとしてモダリティ・サブセットの介入を使用し、現在のモデルと凍結した前のモデルの間のコントリビューションプロファイルを比較し、古いサンプルのモダリティ固有のコントリビューションとインタラクションのコントリビューションの変化を制限する。
リプレイフリー版では、現在のタスクサンプルをプローブとして使用し、凍結したモデルの古いタスクのコントリビューション応答を蒸留することで、例えなしで観察されたコントリビューションプロファイルを規則化する。
マルチモーダルクラス増分学習と連続視覚質問応答の実験は、CMCDRの汎用性と有効性を検証する。
関連論文リスト
- Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs [4.192318018134786]
マルチモーダル大規模言語モデル (MLLM) は画像とテキストの相補的な情報を組み合わせることで高い意思決定を支援する。
既存の説明可能性法では、どのモダリティが予測を駆動するかという根本的な疑問に答えることができない。
MLLMにおけるモダリティレベルのコントリビューションを定量化するための最初のフレームワークとして,CMA(Counterfactual Modality Attribution)を提案する。
論文 参考訳（メタデータ） (2026-07-29T13:33:11Z) - Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。
MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
論文 参考訳（メタデータ） (2026-06-09T06:38:36Z) - TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models [38.02980231068582]
時系列基礎モデル(TS-FM)は、幅広い下流タスクに適応可能な一般化可能な時間表現を学習することを目的としている。
既存のアプローチは一般的に、単純な命令やマスキング戦略に頼っているが、これはクロスモーダルな依存関係を考慮できない。
本稿では,マルチモーダル時系列基礎モデルパイプラインに対する条件推定パラダイムであるTRACEを提案する。
論文 参考訳（メタデータ） (2026-06-04T15:25:03Z) - BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning [2.8115115690134744]
マルチタスク学習(MTL)のためのスケーラブルなパラダイムとしてモデルマージング(MM)が登場している。
近年の進歩にもかかわらず、テスト時間分布シフト時のMMの信頼性は十分に理解されていない。
本稿では,BD-Mergingについて述べる。BD-Mergingはバイアスを考慮した教師なしモデルマージフレームワークで,不確実性を明示的にモデル化し,分散シフト下で適応的な信頼性を実現する。
論文 参考訳（メタデータ） (2026-03-04T10:27:56Z) - Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。
最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。
我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。
モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
論文 参考訳（メタデータ） (2025-11-15T05:01:43Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Continual Multimodal Contrastive Learning [99.53621521696051]
MCL(Multimodal Contrastive Learning)は、異なるモダリティを整列し、関節空間におけるマルチモーダル表現を生成する。
マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。
本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。
理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
論文 参考訳（メタデータ） (2025-03-19T07:57:08Z) - Adding Additional Control to One-Step Diffusion with Joint Distribution Matching [58.37264951734603]
JDMは、画像-条件関節分布間の逆KL分散を最小化する新しいアプローチである。
トラクタブルな上限を導出することにより、JDMは条件学習から忠実度学習を分離する。
この非対称蒸留方式により,一段階の生徒が教師モデルに未知の制御を処理できるようになる。
論文 参考訳（メタデータ） (2025-03-09T15:06:50Z) - Deep Reversible Consistency Learning for Cross-modal Retrieval [12.174193446177778]
クロスモーダル検索(CMR)は通常、マルチモーダルサンプル間の類似性を直接測定するために共通の表現を学習する。
既存のCMR法の多くは、ペアでマルチモーダルサンプルを仮定し、共通表現を学ぶために共同トレーニングを採用している。
クロスモーダル検索のためのDeep Reversible Consistency Learning (DRCL) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-10T03:35:22Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳（メタデータ） (2022-12-19T23:50:19Z) - On Continual Model Refinement in Out-of-Distribution Data Streams [64.62569873799096]
現実世界の自然言語処理(NLP)モデルは、アウト・オブ・ディストリビューション(OOD)データストリームの予測エラーを修正するために、継続的に更新する必要がある。
既存の継続学習(CL)問題設定は、そのような現実的で複雑なシナリオをカバーできない。
連続モデル改良(CMR)と呼ばれる新しいCL問題定式化を提案する。
論文 参考訳（メタデータ） (2022-05-04T11:54:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。