論文の概要: Residual-Guided Expert Specialization for Incomplete Multimodal Learning
- arxiv url: http://arxiv.org/abs/2606.30355v1
- Date: Mon, 29 Jun 2026 14:24:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.278001
- Title: Residual-Guided Expert Specialization for Incomplete Multimodal Learning
- Title（参考訳）: 不完全なマルチモーダル学習のための残留ガイド付きエキスパートスペシャライゼーション
- Abstract要約: 本稿では,不足によって表現がどう形づくられるかに基づいて,専門家の専門化を導く,エキスパートの混成フレームワークを提案する。
我々は,特徴ルータがずれたときの残差ルータの決定を適応的に妨害する,離散性を考慮したノイズ正規化を開発する。
- 参考スコア（独自算出の注目度）: 17.412772080106485
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As real-world prediction systems often face missing modalities at inference, incomplete multimodal learning (IML) remains a practical challenge. While prior methods aim to learn representations robust to missing inputs, representations from incomplete modalities inevitably deviate from their full-modality counterparts due to missing evidence. To explicitly leverage these deviations, we propose MARS (Missingness-Aware Residual-guided Specialization), a mixture-of-experts framework that guides expert specialization based on how representations are reshaped by missingness. By contrasting task representations derived from incomplete inputs with their complete counterparts during training, we derive a privileged residual signal that captures this representational gap. The residual signal guides a residual router to assign samples to experts specialized for the corresponding deviation patterns. In parallel, a feature router learns to imitate this routing behavior using only incomplete inputs, enabling deployment without access to full modalities. To mitigate this train-test router gap, we develop a discrepancy-aware noise regularization that adaptively perturbs the residual router's decisions when the feature router deviates, enhancing expert robustness under imperfect imitation. Experiments on multimodal classification (CASIA-SURF, CREMA-D, UPMC Food-101) and segmentation (MCubeS) under missing scenarios show that MARS consistently surpasses baselines while remaining efficient and extensible to diverse backbones and tasks.
- Abstract（参考訳）: 実世界の予測システムは推論時に欠落するモダリティに直面することが多いため、不完全なマルチモーダル学習(IML)は依然として実践的な課題である。
事前の手法は、欠落した入力に対して堅牢な表現を学習することを目的としているが、不完全なモダリティからの表現は、欠落した証拠のために必然的にそれらの完全なモダリティの表現から逸脱する。
そこで我々は,これらの偏差を明示的に活用するために,表現の欠如によって表現がどう形づくられるかに基づいて,専門家の専門化をガイドするMARS(Missingness-Aware Residual-Guided Specialization)を提案する。
トレーニング中に不完全入力から得られたタスク表現と完全入力を対比することにより、この表現ギャップを捕捉する特権的残留信号が導出される。
残留信号は、残留ルータを誘導し、対応する偏差パターンに特化した専門家にサンプルを割り当てる。
並行して、機能ルータは、不完全な入力のみを使用して、このルーティング動作を模倣することを学び、完全なモダリティにアクセスせずにデプロイできる。
この列車試験用ルータギャップを軽減するため,特徴ルータがずれたときの残差ルータの決定を適応的に妨害し,不完全な模倣の下で専門家の堅牢性を向上する,離散性を考慮したノイズ正規化を開発した。
マルチモーダル分類(CASIA-SURF, CREMA-D, UPMC Food-101)と欠落シナリオ下でのセグメンテーション(MCubeS)の実験は、MARSがベースラインを一貫して越えつつ、多様なバックボーンやタスクに効率よく拡張可能であることを示している。
関連論文リスト
- AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
AnchorMoEは、解釈可能な構成別分類フレームワークである。
ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。
実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
論文 参考訳（メタデータ） (2026-06-02T13:30:54Z) - VCR: Learning Valid Contextual Representation for Incomplete Wearable Signals [26.890638722471902]
本稿では,モダリティの欠如に頑健な有効な表現を抽出する自己教師型フレームワークであるVCRを提案する。
VCRは、フル、シングルミス、マルチミスモード設定におけるパフォーマンスとロバスト性を一貫して改善する。
論文 参考訳（メタデータ） (2026-05-13T03:11:39Z) - LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。
本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
論文 参考訳（メタデータ） (2026-05-01T06:11:42Z) - Multi-Domain Learning with Global Expert Mapping [102.62297074508147]
Mixture-of-Experts (MoE)モデルは、入力を専門分野(専門家)にルーティングすることでスケーラブルなソリューションを提供する。
本稿では,学習ルータをグローバルスケジューラに置き換えるプランナー・コンパイラフレームワークであるGEMを提案する。
我々のプランナーは線形プログラミングの緩和に基づいて、データセットを専門家に分数的に割り当てる一方、コンパイラはこのソフトプランを決定論的でキャパシティを意識したマッピングに変換するために階層的なラウンドリングを適用する。
実験の結果、GEM-DINOはUODBベンチマークで最先端のパフォーマンスを達成し、表現不足のデータセットに顕著な利益をもたらし、タスク干渉をわずかに解決していることがわかった。
論文 参考訳（メタデータ） (2026-04-20T21:09:34Z) - Missing-Aware Multimodal Fusion for Unified Microservice Incident Management [22.703696384749595]
ARMORは、モダリティの欠如を前提とした、自己管理型のフレームワークである。
自己監督型自己回帰とマスク誘導型再構成を用いて、異常検出、障害トリアージ、根本原因の局在を共同で最適化する。
完全なデータ条件下での最先端性能を実現し、厳密なモダリティ損失でも堅牢な診断精度を維持する。
論文 参考訳（メタデータ） (2026-03-26T15:14:57Z) - SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。
プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。
また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文 参考訳（メタデータ） (2026-02-02T11:47:06Z) - Rethinking Efficient Mixture-of-Experts for Remote Sensing Modality-Missing Classification [33.302856478333524]
リモートセンシングにおけるマルチモーダル分類は、環境干渉、センサーの故障、大気の影響によって生じるモダリティの欠如に悩まされることが多い。
既存の2段階適応法は計算コストが高く、訓練中に完全なマルチモーダルデータを仮定し、その一般化を実世界の不完全性に制限する。
マルチタスク学習問題として欠落したモダリティを再構成するMissing-Aware Mixture-of-Lorasフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-14T16:31:37Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - ADMC: Attention-based Diffusion Model for Missing Modalities Feature Completion [25.1725138364452]
注意に基づく障害特徴補完(ADMC)のための拡散モデルを提案する。
本フレームワークは,各モダリティに対する特徴抽出ネットワークを独立に訓練し,その特性を保ち,オーバーカップリングを回避する。
提案手法は,IEMOCAPおよびMIntRecベンチマークの最先端結果を実現し,欠落シナリオと完全モダリティシナリオの両方において,その有効性を示す。
論文 参考訳（メタデータ） (2025-07-08T03:08:52Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。