論文の概要: RADIANT: Redundancy-Aware Information Allocation for Universal Multi-Modal Fusion
- arxiv url: http://arxiv.org/abs/2611.16382v1
- Date: Thu, 12 Nov 2026 06:47:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.380929
- Title: RADIANT: Redundancy-Aware Information Allocation for Universal Multi-Modal Fusion
- Title(参考訳): RADIANT:Universal Multi-Modal Fusionのための冗長性を考慮した情報配置
- Abstract要約: RADIANTは3つの補完的な役割の融合を組織するタスクジェネラルなフレームワークである。
冗長なクロスモーダルオーバーラップを抑制し、モダリティ・ユニクな証拠を保存し、タスク条件のシナジーを構成する。
6つの異種核融合タスクにわたる広範囲な実験は、比較手法よりも一貫した改善を示す。
- 参考スコア(独自算出の注目度): 3.427690746311875
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Universal multi-modal fusion often fails not because modalities are insufficiently aligned, but because the fusion process allocates information poorly: redundant evidence is repeatedly amplified, modality-unique evidence is over-smoothed during alignment, and task-dependent synergistic evidence is insufficiently activated. We present RADIANT (Redundancy-Aware Dynamic Information Allocation Network), a task-general framework that organizes fusion around three complementary roles: suppressing redundant cross-modal overlap, preserving modality-unique evidence, and composing task-conditioned synergy through cross-modal interaction. Specifically, stable matrix-exponential projections are used to reduce interference among shared and modality-unique streams, while task memory with hard positive updates selects which synergistic interactions should be activated for the current fusion regime. Extensive experiments across six heterogeneous fusion tasks show consistent improvements over the compared methods. On FLIR, RADIANT improves downstream detection mAP@0.5 from 91.2% to 96.8%, a gain of 5.6 percentage points (6.1% relative) over GIF. RADIANT also exhibits strong direct cross-dataset transfer, with further gains from inference-time task-memory adaptation while keeping all network weights frozen. Additional ablations and sensitivity studies support the robustness of the allocation mechanism.
- Abstract(参考訳): 普遍的なマルチモーダル核融合は、モダリティが不十分に整列しているからではなく、融合プロセスが情報を不十分に割り当てているため、冗長な証拠は繰り返し増幅され、モダリティ・ユニクイックな証拠はアライメント中に過度に平滑化され、タスク依存の相乗的証拠は不十分に活性化される。
本稿では、冗長なクロスモーダルオーバーラップの抑制、モダリティと特異な証拠の保存、およびクロスモーダル相互作用によるタスク条件の相乗効果の構成という、3つの相補的な役割の融合を組織するタスクジェネラルフレームワークであるRADIANT(Redundancy-Aware Dynamic Information Allocation Network)を提案する。
具体的には、安定な行列-指数射影は共有ストリームとモダリティ-一様ストリーム間の干渉を減らすために使用され、一方、ハード・ポジティヴな更新を伴うタスクメモリは、現在の融合状態に対してどの相乗的相互作用を活性化すべきかを選択する。
6つの異種核融合タスクにわたる広範囲な実験は、比較法よりも一貫した改善を示す。
FLIRでは、RADIANTは下流検出のmAP@0.5を91.2%から96.8%に改善し、GIFよりも5.6ポイント(6.1%)上昇した。
RADIANTは、全てのネットワーク重みを凍結させながら、推論時のタスクメモリ適応によってさらに向上する。
追加のアブレーションと感度の研究は、アロケーション機構の堅牢性を支持する。
関連論文リスト
- MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information [50.6620040815744]
マルチモーダル学習において、モダリティの不均衡はしばしば一つのモダリティが最適化を支配し、モデルがクロスモーダル相互作用を完全に活用することを防ぐ。
本稿では,相乗的情報発見と相乗的情報の相乗的利用を共同で促進する融合法であるマルチモーダル相乗的競争規則化器(MSCR)を提案する。
論文 参考訳(メタデータ) (2026-10-17T02:54:30Z) - HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling [49.47522889508097]
自己教師型マルチモーダル表現学習は、様々な領域で顕著な成功を収めた。
しかし、相互モーダル相互作用の複雑さのため、相乗的情報の取得は依然として困難である。
この研究は、マルチモーダル表現におけるそのようなシナジスティック信号の情報容量の保存方法に焦点をあてる。
論文 参考訳(メタデータ) (2026-10-08T17:39:45Z) - Boundary-Aligned Contribution Routing for Robust Optical--SAR Object Detection [8.665369041430969]
光-SAR融合はリモートセンシングオブジェクト検出に魅力的である。
しかし、不完全な空間的、時間的、意味的な対応は、不完全なストリームを条件付きで有害にすることができる。
我々は,検出監視のみを用いてタスク条件付きコントリビューションルーティングを学習する。
論文 参考訳(メタデータ) (2026-08-15T14:37:23Z) - UniCA: Bi-directional Cross-Attention with Positive Similarity Loss for Robust Multi-Modal Retrieval [11.70412524968217]
マルチモーダル検索は、統合された視覚的テキストデータの量の増加を扱うためにますます重要になっている。
既存のフレームワークはテキストエンコーダによる暗黙の融合に依存しており、明示的なクロスモーダルなセマンティックアライメントを制限する。
本論文では,4つの重要なイノベーションを持つマルチモーダル検索モデルであるUniCAを提案する。
論文 参考訳(メタデータ) (2026-06-03T10:57:28Z) - RSGMamba: Reliability-Aware Self-Gated State Space Model for Multimodal Semantic Segmentation [41.11292233905035]
シーン理解を強化するための強力なパラダイムとして、クロスモーダルなセマンティックセマンティックセマンティクスが登場した。
本稿では、信頼性を考慮した自己ゲート状態空間モデル(RSGMamba)と呼ばれる新しいフレームワークを提案する。
本手法のコアとなるのは、信頼性を意識した自己ゲート型マンバブロック(RSGMB)であり、モダリティの信頼性を明示的にモデル化し、相互モーダル相互作用を動的に制御する。
論文 参考訳(メタデータ) (2026-04-14T05:51:15Z) - Residual Cross-Modal Fusion Networks for Audio-Visual Navigation [17.19858148800535]
本稿では、補間モデリングと微粒化アライメントを実現するために、音声と視覚ストリーム間の残差相互作用を導入するクロスモーダル残差融合ネットワークを提案する。
ReplicaとMatterport3Dデータセットの実験では、CRFNは最先端の核融合ベースラインを著しく上回り、より強力なクロスドメインの一般化を実現している。
論文 参考訳(メタデータ) (2026-01-11T12:11:36Z) - Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。
本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。
また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
論文 参考訳(メタデータ) (2024-06-19T16:42:57Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。