論文の概要: Dynamic Alignment and Calibration for Multimodal Learning

• arxiv url: http://arxiv.org/abs/2610.07928v1
• Date: Tue, 06 Oct 2026 08:05:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.881592
• Title: Dynamic Alignment and Calibration for Multimodal Learning
• Title（参考訳）: マルチモーダル学習のための動的アライメントと校正
• Abstract要約: ACMLは、高信頼の正ペアに対して強いセマンティック一貫性を強制する動的クロスモーダル三重項モジュールを組み込んでいる。 ACMLは最近の最先端手法よりも優れた性能と堅牢性を実現している。
• 参考スコア（独自算出の注目度）: 20.800872549729498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic multimodal learning aims to learn robust representations by adaptively modeling information discrepancies across modalities. However, existing methods still suffer from two limitations: (i) static cross-modal alignment strategies usually impose uniform constraints on all samples while overlooking sample-wise variations, potentially leading to unreasonable over-alignment; and (ii) confidence- or uncertainty-aware fusion methods often fail to adequately account for feature magnitude and confidence differences across modalities. For modality pairs with significant feature magnitude differences or small confidence gaps, it might be unreliable to strictly align fusion weights according to confidence. To address these issues, we propose an Alignment- and Calibration-driven Multimodal Learning framework (ACML). Specifically, ACML incorporates a dynamic cross-modal triplet alignment module, which enforces strong semantic consistency for high-confidence positive pairs while encouraging diverse representation learning between high- and low-confidence positive pairs according to their confidence gaps. Additionally, ACML introduces a difference-aware attention calibration strategy that adaptively adjusts attention regularization based on feature magnitude and confidence differences across modalities, thereby mitigating biases caused by unreasonable fusion constraints. Extensive experiments on multiple multimodal benchmark datasets demonstrate that ACML consistently achieves superior performance and robustness over recent state-of-the-art methods.
• Abstract（参考訳）: 動的マルチモーダル学習は、モダリティ間の情報格差を適応的にモデル化することで、ロバストな表現を学習することを目的としている。 しかし、既存の方法は以下の2つの制限に悩まされている。 (i)静的なクロスモーダルアライメント戦略は、通常、サンプルワイドなバリエーションを見下ろしながら、全てのサンプルに一様制約を課し、潜在的に不合理なオーバーアライメントにつながる。 (II) 信頼・不確実性を考慮した核融合法は, 特徴量やモダリティ間の信頼差を適切に考慮できない場合が多い。 重要な特徴量差や小さな信頼ギャップを持つモダリティ対に対して、信頼度に応じて融合重みを厳密に調整することは信頼できないかもしれない。 これらの問題に対処するために、アライメントとキャリブレーション駆動型マルチモーダルラーニングフレームワーク(ACML)を提案する。 特に、ACMLは、高信頼の正ペアに対して強い意味一貫性を強制し、高信頼の正ペアと低信頼の正ペア間の多彩な表現学習を信頼ギャップに応じて促進する動的クロスモーダル三重項アライメントモジュールを組み込んでいる。 さらに、ACMLは、特徴量とモダリティ間の信頼差に基づいてアテンション正規化を適応的に調整し、不合理な融合制約によるバイアスを軽減する、差認識アテンションキャリブレーション戦略を導入している。 複数のマルチモーダルベンチマークデータセットに対する大規模な実験により、ACMLは最近の最先端手法よりも優れたパフォーマンスとロバスト性を一貫して達成していることが示された。

関連論文リスト

• Confidence-Guided Cross-Modal Knowledge Transfer for Multimodal Anomaly Detection in Microservice Systems [34.65336699725841]
  マルチモーダル異常検出(CMT-AD)のための信頼誘導型クロスモーダル知識伝達法を提案する。 統合されたディープクラスタリングフレームワーク内のメトリクスとログを共同でモデル化し、ソフトクラスタリングディストリビューションを通じてモダリティの信頼性を推定する。 我々はCMT-ADを3つの大規模データセット上で評価し、CMT-ADが最先端のアプローチより優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-22T08:22:10Z)
• Adaptive Confidence-weighted Expansion for Trustworthy Multi-Omics Multimodal Fusion [0.8749675983608171]
  マルチモーダル融合モデルの信頼性を高めるために,適応信頼度重み付き拡張(ACE)を導入する。 ACEは、分類性能と信頼性キャリブレーションの両方において、既存の最先端アルゴリズムよりも大幅に優れている。
  論文  参考訳（メタデータ） (2026-07-22T21:42:16Z)
• Harnessing Consistency for Robust Test-Time LLM Ensemble [88.55393815158608]
  CoREは、堅牢なLLMアンサンブルにモデル一貫性を利用するプラグイン・アンド・プレイ技術である。 トークンレベルの一貫性は、ダウンウェイト不確実なトークンにローパスフィルタを適用することで、きめ細かい不一致を捕捉する。 モデルレベルの一貫性は、自己自信の高いモデル出力を促進することで、グローバルな合意をモデル化する。
  論文  参考訳（メタデータ） (2025-10-12T04:18:45Z)
• MIDAS: Misalignment-based Data Augmentation Strategy for Imbalanced Multimodal Learning [14.06705718861471]
  マルチモーダルモデルは、しばしば支配的なモダリティに過度に頼り、最適な性能を達成できなかった。 提案するMIDASは,意味的に整合性のないクロスモーダル情報を用いて,ミスアライメントされたサンプルを生成する新しいデータ拡張戦略である。 複数のマルチモーダル分類ベンチマークの実験により、MIDASはモダリティの不均衡に対処する上で、関連するベースラインを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-09-30T06:13:17Z)
• Learning to Fuse: Modality-Aware Adaptive Scheduling for Robust Multimodal Foundation Models [0.0]
  モーダリティ・アウェア・アダプティブ・フュージョン・スケジューリング(MA-AFS)は、各モーダリティの寄与をインスタンス単位で動的に調節することを学ぶ。 本研究は, 適応融合の重要性を強調し, 信頼性と不確実性を考慮したマルチモーダル学習に向けた有望な方向性を開く。
  論文  参考訳（メタデータ） (2025-06-15T05:57:45Z)
• Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
  本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。 既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。 本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-09T13:26:21Z)
• Calibrating Multimodal Learning [94.65232214643436]
  本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。 この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-06-02T04:29:57Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。