Fugu-MT 論文翻訳(概要): InstMoE: Adaptive Multimodal Routing with Specialized Experts

論文の概要: InstMoE: Adaptive Multimodal Routing with Specialized Experts

arxiv url: http://arxiv.org/abs/2610.05111v1
Date: Sun, 04 Oct 2026 10:40:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 23:22:30.502662
Title: InstMoE: Adaptive Multimodal Routing with Specialized Experts
Title（参考訳）: InstMoE: 専門家による適応型マルチモーダルルーティング
Abstract要約: InstMoEは、マルチモーダル学習のための適応型エキスパートルーティングフレームワークである。本稿では,タスク関連表現を意味的に類似した入力で共有するContrastive Semantic Alignmentモジュールを提案する。マルチモーダル感情分析ベンチマークの実験は、InstMoEが最先端のパフォーマンスを達成することを示した。
参考スコア（独自算出の注目度）: 40.52237492708294
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal inputs are inherently heterogeneous, not only across modalities but also in the information pathways required for effective prediction. To address this limitation, we propose InstMoE, an adaptive expert routing framework for multimodal learning. InstMoE dynamically routes each input to specialized unimodal and cross-modal experts, allowing the model to adapt its information pathways to the characteristics of the input. However, routing can be misled when modality-specific variations obscure task-relevant semantics. Such irrelevant variations may distort routing decisions, causing inputs to be assigned to inappropriate experts. We therefore introduce a Contrastive Semantic Alignment module, which encourages semantically similar inputs to share task-relevant representations while suppressing irrelevant modality-specific variations. Experiments on multimodal sentiment analysis benchmarks demonstrate that InstMoE achieves state-of-the-art performance on CMU-MOSEI and CH-SIMS v2 while using substantially fewer parameters than competitive baselines. Further analysis shows that different inputs exhibit distinct expert preferences, demonstrating that InstMoE moves beyond fixed fusion toward adaptive multimodal computation.
Abstract（参考訳）: マルチモーダル入力は本質的に異種であり、モダリティだけでなく、効果的な予測に必要な情報経路にも適用される。この制限に対処するため,マルチモーダル学習のための適応型エキスパートルーティングフレームワークInstMoEを提案する。 InstMoEは、各入力を特殊な単調およびクロスモーダルの専門家に動的にルーティングし、入力の特性にその情報経路を適応させる。しかし、ルーティングは、モダリティ固有の不明瞭なタスク関連セマンティクスで誤解されることがある。このような無関係なバリエーションはルーティングの決定を歪め、入力を不適切な専門家に割り当てる。そこでコントラシティブ・セマンティック・アライメント(Contrastive Semantic Alignment)モジュールを導入し、意味論的に類似した入力がタスク関連表現を共有できるようにし、無関係なモダリティ固有のバリエーションを抑える。マルチモーダル感情分析ベンチマークの実験により、InstMoEはCMU-MOSEIとCH-SIMS v2の最先端性能を達成し、競合ベースラインよりもかなり少ないパラメータを使用することを示した。さらに分析したところ、異なる入力が異なる専門家の好みを示すことが示され、InstMoEが固定融合を超えて適応マルチモーダル計算へと進むことが示されている。

関連論文リスト

SuppreSensing: Expert-Guided Feature Recalibration and Discrepancy Augmentation for Multimodal Object Detection [19.446402308279676]
本稿では,多モード融合を選択的協調プロセスとして再構成するSuppreSensingを提案する。 SupreSensingは、最初にExpert-driven Multimodal Feature Recalibration (EMFR)モジュールを設計した。モーダリティ固有の拡張戦略を用いて、特定のモーダリティの特徴を属性とする。 DroneVehicleとVEDAIデータセットの実験は、SuppreSensingが最先端の検出パフォーマンスを達成することを実証している。
論文参考訳（メタデータ） (2026-08-21T10:06:00Z)
Parameter-Efficient Modality-Balanced Symmetric Fusion for Multimodal Remote Sensing Semantic Segmentation [8.840077295284393]
MoBaNetはパラメータ効率とモダリティバランスを持つ対称核融合フレームワークである。ほとんど凍結されたVFMバックボーン上に構築されたMoBaNetは、一般化可能な表現を維持するために対称なデュアルストリームアーキテクチャを採用している。 ISPRS VaihingenとPotsdamベンチマークの実験は、MoBaNetが最先端のパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2026-03-18T13:23:58Z)
SGMA: Semantic-Guided Modality-Aware Segmentation for Remote Sensing with Incomplete Multimodal Data [31.146366498415784]
マルチモーダルセマンティックセグメンテーションは、リモートセンシング地球観測のための多様なセンサーからの補完情報を統合する。 IMSSは3つの主要な課題に直面している:マルチモーダル不均衡、支配的なモダリティが脆弱なモダリティを抑えること、スケール、形状、方向のクラス内変化、矛盾するキーと矛盾するセマンティック応答を生み出すクロスモーダル不均一。本稿では,セマンティック・ガイド・モダリティ・アウェア(SGMA)フレームワークを提案する。セマンティック・モダリティ・アウェア(SGMA)フレームワークは,クラス内変動の低減とセマンティックガイダンスによる相互不整合の緩和を図りつつ,バランスの取れたマルチモーダル学習を実現する。
論文参考訳（メタデータ） (2026-03-03T01:28:21Z)
From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
論文参考訳（メタデータ） (2026-01-28T09:29:40Z)
Statistic-Augmented, Decoupled MoE Routing and Aggregating in Autonomous Driving [32.600054594223096]
Large Model (LM)-Driven Mixture of Experts (MoE)パラダイムは、有望なソリューションを提供する。 LM駆動のMoE出力とアグリゲーション機構(MoE-RAM)を提案する。 MoE-RAMは、LM抽出された潜在特徴と最も関係のある専門家のキャッシュされた特徴とを一致させる統計的検索機構を組み込むことで、専門家のルーティングを強化する。
論文参考訳（メタデータ） (2025-12-07T05:28:40Z)
Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
論文参考訳（メタデータ） (2025-08-07T02:51:10Z)
Robust Multimodal Learning via Representation Decoupling [6.7678581401558295]
マルチモーダル学習はその実用性から注目を集めている。既存の手法は、異なるモダリティの組み合わせに対して共通の部分空間表現を学習することで、この問題に対処する傾向がある。本稿では,頑健なマルチモーダル学習を支援するために,DMRNet(Decoupled Multimodal Representation Network)を提案する。
論文参考訳（メタデータ） (2024-07-05T12:09:33Z)
Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文参考訳（メタデータ） (2024-05-06T11:02:02Z)
Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
論文参考訳（メタデータ） (2022-10-27T12:16:25Z)
Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。