論文の概要: CAT-GS: Balanced Multimodal Learning via Calibrated Gating and Fusion Surgery
- arxiv url: http://arxiv.org/abs/2608.24947v2
- Date: Thu, 27 Aug 2026 05:07:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 14:16:51.819283
- Title: CAT-GS: Balanced Multimodal Learning via Calibrated Gating and Fusion Surgery
- Title（参考訳）: CAT-GS:校正ゲーティングと核融合手術によるバランスの取れたマルチモーダル学習
- Authors: Mahir Shahriar Tamim, Sharjil Khan, Md. Samiul Alim, Tanvir Ahmed Khan, Shafin Rahman, Nabeel Mohammed,
- Abstract要約: 本稿では、インテリジェントコンピューティングアプリケーションのためのニューラルダイナミクスに基づく最適化制御系であるCAT-GSを提案する。
Cat-GSは、ウォームアップドロップアウト、弱いモダリティ優先順位付け、弱いバイアスドブレンディングを切り替えるためのマージン閾値ポリシーを使用して神経力学を安定化する。
Cat-GSは、強い不均衡を意識したベースラインに対して、融合したマルチモーダル精度を改善または一致させる。
- 参考スコア（独自算出の注目度）: 7.375516679858658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: End-to-end training of multimodal neural networks often exhibits unstable neural dynamics characterized by three coupled failure modes that degrade learning: (i) modality imbalance, where one branch dominates gradient-based optimization; (ii) unstable gating, where noisy confidence cues induce erratic modality selection; and (iii) fusion interference, where modality-specific gradients conflict at the shared fusion layer. We propose CAT-GS (Calibrated, Adaptive, Thresholded Gating with Fusion Surgery), a neural dynamics-based optimization controller for intelligent computing applications. CAT-GS operates during backpropagation without modifying model architectures, fusion modules, or task losses. Through calibration of teacher-derived reliability via temperature scaling and EMA smoothing, CAT-GS stabilizes neural dynamics using a margin-thresholded policy to switch between warm-up dropout, weak-modality prioritization, and weak-biased blending, stabilizes gradient magnitudes under aggressive gating via capped gradient-budget renormalization, and applies fusion-only PCGrad to reduce destructive cross-modal interference at the primary shared bottleneck. We evaluate CAT-GS on audio--visual multimodal pattern recognition benchmarks (CREMA-D, AV-MNIST, and VGGSound), a tri-modal setting (UR-FUNNY), controlled synthetic data (CG-MNIST), and additional cross-domain benchmarks (AVE and CMU-MOSI). CAT-GS improves or matches fused multimodal accuracy against strong imbalance-aware baselines (including OGM-GE, G$^2$D, and UMT) across settings, and yields smoother gating behavior with fewer conflicting fusion gradients.
- Abstract（参考訳）: マルチモーダルニューラルネットワークのエンドツーエンドトレーニングは、しばしば、学習を劣化させる3つの結合障害モードによって特徴づけられる不安定な神経力学を示す。
(i) 1つの分岐が勾配に基づく最適化を支配しているモダリティの不均衡
(二)不安定なゲーティングで、ノイズのある自信が不規則なモダリティ選択を誘発し、
3) 核融合干渉では, 共有核融合層においてモダリティ特異的勾配が衝突する。
CAT-GS(Calibrated, Adaptive, Thresholded Gating with Fusion Surgery)は、インテリジェントコンピューティングアプリケーションのためのニューラルネットワークベースの最適化コントローラである。
CAT-GSは、モデルアーキテクチャ、融合モジュール、タスク損失を変更することなく、バックプロパゲーション中で動作する。
CAT-GSは、温度スケーリングとEMA平滑化による教師由来の信頼性のキャリブレーションを通じて、ウォームアップドロップアウト、弱モダリティ優先化、弱バイアス混合を切り替えるためのマージン閾値のポリシーを用いて神経力学を安定化し、キャップ付きグラデーション・バッジ・リノーマライゼーションによる攻撃的ゲーティングの下で勾配を安定化し、融合専用PCGradを適用して一次共有ボトルネックにおける破壊的クロスモーダル干渉を低減する。
我々は、CAT-GSを、音声・視覚マルチモーダルパターン認識ベンチマーク(CREMA-D、AV-MNIST、VGGSound)、トリモーダルセッティング(UR-FUNNY)、制御合成データ(CG-MNIST)、追加のクロスドメインベンチマーク(AVE、CMU-MOSI)で評価した。
CAT-GSは、コンフリクト間の強い不均衡を意識したベースライン(OGM-GE、G$^2$D、UTTを含む)に対して、マルチモーダルの融合精度を向上または一致させ、衝突の少ない融合勾配でよりスムーズなゲーティング動作をもたらす。
関連論文リスト
- Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。
既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
論文 参考訳（メタデータ） (2026-08-14T04:46:03Z) - Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs [69.56407708794845]
MultimodalAttributed Graph Learning (MAGL)はグラフアグリゲーションを通じてノード属性と構造トポロジーを統合する。
事前訓練されたエンコーダがLarge Foundation Models (LFM) へと進化するにつれて、MAGLのランドスケープは根本的に変化していく。
高信頼のLFM先行の下では、強制集約は、識別シグナルを圧倒するトポロジカル固有のノイズを導入する。
本稿では、分離されたデュアルパスパラダイムであるSUPRA(Shared-Unique Prior-Retaining Architecture)を提案する。
SUPRAは、トポロジ・アグノシクスによるモーダリティ特異的な特徴を処理し、軽量共有GNNを介して構造相乗効果を捉え、補助的な深層監視対策の勾配飢餓を発生させる。
論文 参考訳（メタデータ） (2026-05-23T17:42:25Z) - D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities [54.87947751720332]
欠落モード設定下での安定した性能を維持するために,新しいセグメンテーションモデルD3Segを提案する。
提案モデルでは, 腫瘍造影法 (ET) で約1.5～2.0%, 腫瘍コア法 (TC) で約1.0%, 複数の欠損モードで約1.0%を達成している。
論文 参考訳（メタデータ） (2026-05-21T09:55:42Z) - Resolving gradient pathology in physics-informed epidemiological models [0.0]
疫学モデリングのための物理インフォームドニューラルネットワークにおける勾配競合に対処する新しい手法であるコンフリクトゲート勾配スケーリング(CGGS)を提案する。
正規化のみを行うスキームとは異なり、CGGSはコンフリクトが高い場合の物理的な制約を抑え、データの忠実度を優先することができる。
論文 参考訳（メタデータ） (2026-03-25T00:19:21Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳（メタデータ） (2026-02-09T22:48:30Z) - SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。
時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。
SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
論文 参考訳（メタデータ） (2026-01-19T07:42:45Z) - Randomness and Interpolation Improve Gradient Descent [1.7551939488475077]
本稿では、IAGD(Interpolational Gradient Descent)とNRSGD(Noth-Regularized Gradient Descent)という2つの進化を紹介した。
IAGDはNewton Interpolationを使用して、イテレーション間の勾配の関連性を仮定して、トレーニング中の収束プロセスを高速化する。
NRSGDは、最適化プロセス中に勾配に対するノイズを制御するノイズ正規化手法を取り入れている。
論文 参考訳（メタデータ） (2025-10-14T23:32:01Z) - Quantum-Informed Contrastive Learning with Dynamic Mixup Augmentation for Class-Imbalanced Expert Systems [0.0]
QCL-MixNetは、不均衡下でのロバストな分類のための動的混合のための新しいフレームワークである。
QCL-MixNetは、20の最先端の機械学習、ディープラーニング、GNNベースのベースラインをマクロF1とリコールで一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-06-16T20:44:30Z) - Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。
我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。
我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文 参考訳（メタデータ） (2024-10-21T22:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。