論文の概要: TWIN-MoE: Two-stage Intra-Expert Imputation Network for Incomplete Multimodal Learning
- arxiv url: http://arxiv.org/abs/2610.24014v1
- Date: Thu, 15 Oct 2026 23:25:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 11:42:46.746124
- Title: TWIN-MoE: Two-stage Intra-Expert Imputation Network for Incomplete Multimodal Learning
- Title（参考訳）: TWIN-MoE:不完全マルチモーダル学習のための2段階イントラエキスパートイントラ計算ネットワーク
- Abstract要約: ルーティングはエキスパート条件の表現地区を誘導し,その局所的特徴分散によって制御される計算誤差を導出することを示す。
本稿では,2段階のイントラエキスパート・イントラ・イントラ・イントラ・コンピュテーション・フレームワークであるTWINを提案する。
- 参考スコア（独自算出の注目度）: 10.020573892388514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent Mixture-of-Experts (MoE) approaches address missing modalities either by routing each missingness pattern to a dedicated expert, which scales poorly as the number of modalities grows, or by imputing the missing modality from representations contributed by multiple experts, which requires a costly retrieval mechanism. We show that routing induces expert-conditioned representation neighborhoods and derive an imputation-error bound controlled by their local feature dispersion. When these expert-conditioned neighborhoods are more compact than the global representation space, intra-expert aggregation admits a tighter worst-case reconstruction bound than unconstrained global aggregation. Guided by this analysis, we propose TWIN, a two-stage intra-expert imputation framework. Pre-imputation generates a context-conditioned estimate in the encoder embedding space and radially soft-clips it using modality-specific statistics maintained in an observed FIFO queue, this ensures that the pre-imputed modality stays in empirically calibrated region of the target modality space. Post-imputation refines the missing representation after MoE by aggregating expert-conditioned observed representations within the same sample. Across four missing-modality benchmarks under natural, random, and asymmetric dropout protocols, TWIN achieves state-of-the-art performance while using substantially fewer parameters than competing MoE-based imputation methods.
- Abstract（参考訳）: 最近のMixture-of-Experts (MoE) アプローチでは、各欠落パターンを専用の専門家にルーティングすることで、モダリティの数が増えるにつれてスケールが低下する、あるいは複数の専門家が貢献する表現から欠落モダリティを計算し、コストのかかる検索機構を必要とするのいずれかによって、欠落モダリティに対処する。
ルーティングはエキスパート条件の表現地区を誘導し,その局所的特徴分散によって制御される計算誤差を導出することを示す。
これらの専門家条件付き地区がグローバル表現空間よりもコンパクトであるとき、専門家間集約は、制約のないグローバルアグリゲーションよりも厳密な最悪のケース再構築を許容する。
そこで本研究では,2段階のイントラエキスパート・イントラ・イントラ・イントラ・コンピュテーション・フレームワークであるTWINを提案する。
プレインプットはエンコーダ埋め込み空間における文脈条件付き推定を生成し、観測されたFIFOキューに保持されたモーダリティ固有統計値を用いて放射的にソフトクリップすることで、予め入力されたモーダリティがターゲットモーダリティ空間の実験的に調整された領域に留まることを保証する。
ポストインプットは、専門家によって条件付けられた同じサンプル内の観察された表現を集約することで、MoEの後に欠落した表現を洗練させる。
自然、ランダム、非対称なドロップアウトプロトコルの下での4つの欠落モードのベンチマークにおいて、TWINは競合するMoEベースの計算手法よりもかなり少ないパラメータを使用しながら最先端のパフォーマンスを達成する。
関連論文リスト
- Silence and Noise: Resolving Suppression and Overvaluation in Multimodal Entity Alignment [18.621015338747508]
マルチモーダルエンティティアライメント(MMEA)は、ヘテロジニアス知識グラフ(KG)の統合の基礎である
既存のパラダイムは、不完全なモダリティやクロスグラフ構造的非対称性に批判的に弱いままである。
ALMEAは、低レベル特徴再構成と高レベル遅延空間アライメントの双方向フィードバックループを確立する、生成・校正フレームワークである。
論文 参考訳（メタデータ） (2026-10-12T03:14:36Z) - Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization [61.27524718261322]
そこで我々は,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択をナビゲートする理論的基盤を持つフレームワークである。
DS-MoEは必須のエキスパートの組み合わせを効果的に保存し,最先端のベースラインよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2026-09-30T18:33:27Z) - Function Over Form: Distributional Orthogonalization in Mixture-of-Experts with Replica Expert Mechanism [5.21868774372295]
MoEは、しばしば専門家の崩壊と表現の冗長性によって制約され、モデルキャパシティの未使用に繋がる。
本稿では、静的な重みの多様性から動的ルーティング行動へ焦点を移す補助正規化である分布直交化損失(DO-loss)を提案する。
また,Replica Expert Mechanism (REM)を導入し,2層戦略によるロードバランシングを改善する。
論文 参考訳（メタデータ） (2026-09-26T09:19:16Z) - Semi-Supervised Conditional Generative Learning through Stochastic Interpolation and Sufficient Representations [12.299177496689621]
条件固有項と低次元潜在表現を組み合わせた半教師付きフレームワークを提案する。
RepGは生成をラベル依存の潜伏サンプリングと高次元再構成の2段階に分解する。
論文 参考訳（メタデータ） (2026-07-18T09:21:53Z) - Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。
既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。
本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
論文 参考訳（メタデータ） (2026-07-08T09:27:15Z) - AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
AnchorMoEは、解釈可能な構成別分類フレームワークである。
ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。
実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
論文 参考訳（メタデータ） (2026-06-02T13:30:54Z) - Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration [13.299987551113809]
グループ認知学習(グループ認知学習、Group Cognition Learning、GCL)は、モダリティ固有の符号化の後に2段階のプロトコルを適用する、管理された協調パラダイムである。
GCLはモダリティの優位性と結合を緩和し、回帰ベンチマークと分類ベンチマークの両方で最先端の結果を確立する。
論文 参考訳（メタデータ） (2026-05-01T03:19:34Z) - Conditional Imputation for Within-Modality Missingness in Multi-Modal Federated Learning [8.35064965629059]
MMFL(Multimodal Federated Learning)は、プライバシー保護のための協調トレーニングを提供する。
実世界の臨床応用は、しばしば、センサーの断続性や不規則なサンプリングによって生じるモダリティの欠如に悩まされる。
本研究では,条件付き拡散モデルを用いて,この欠陥に明示的に対処するフレームワークであるCondIを提案する。
論文 参考訳（メタデータ） (2026-04-25T02:35:08Z) - Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。
最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。
我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。
モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
論文 参考訳（メタデータ） (2025-11-15T05:01:43Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。