論文の概要: Uncertainty-Resilient Multimodal Learning via Consistency-Guided Cross-Modal Transfer
- arxiv url: http://arxiv.org/abs/2511.15741v1
- Date: Tue, 18 Nov 2025 15:26:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-21 17:08:52.309463
- Title: Uncertainty-Resilient Multimodal Learning via Consistency-Guided Cross-Modal Transfer
- Title(参考訳): Consistency-Guided Cross-Modal Transferによる不確かさ-弾力性マルチモーダル学習
- Authors: Hyo-Jeong Jang,
- Abstract要約: この論文は、整合性誘導型クロスモーダルトランスファーによる不確実性と弾力性のあるマルチモーダル学習を探求する。
中心となる考え方は、堅牢な表現学習の基盤として、クロスモーダルなセマンティック一貫性を使用することである。
この基礎の上に構築された論文は、セマンティックロバスト性を高め、データ効率を向上し、ノイズや不完全な監視の影響を減らすための戦略を調査する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal learning systems often face substantial uncertainty due to noisy data, low-quality labels, and heterogeneous modality characteristics. These issues become especially critical in human-computer interaction settings, where data quality, semantic reliability, and annotation consistency vary across users and recording conditions. This thesis tackles these challenges by exploring uncertainty-resilient multimodal learning through consistency-guided cross-modal transfer. The central idea is to use cross-modal semantic consistency as a basis for robust representation learning. By projecting heterogeneous modalities into a shared latent space, the proposed framework mitigates modality gaps and uncovers structural relations that support uncertainty estimation and stable feature learning. Building on this foundation, the thesis investigates strategies to enhance semantic robustness, improve data efficiency, and reduce the impact of noise and imperfect supervision without relying on large, high-quality annotations. Experiments on multimodal affect-recognition benchmarks demonstrate that consistency-guided cross-modal transfer significantly improves model stability, discriminative ability, and robustness to noisy or incomplete supervision. Latent space analyses further show that the framework captures reliable cross-modal structure even under challenging conditions. Overall, this thesis offers a unified perspective on resilient multimodal learning by integrating uncertainty modeling, semantic alignment, and data-efficient supervision, providing practical insights for developing reliable and adaptive brain-computer interface systems.
- Abstract(参考訳): マルチモーダル学習システムは、ノイズデータ、低品質ラベル、不均一なモダリティ特性などにより、かなりの不確実性に直面することが多い。
これらの問題は、データ品質、セマンティックな信頼性、アノテーションの一貫性がユーザや記録条件によって異なるような、人間とコンピュータのインタラクション設定において特に重要になる。
この論文は、整合性誘導型クロスモーダル移動を通して不確実性に耐性のあるマルチモーダル学習を探索することによって、これらの課題に対処する。
中心となる考え方は、堅牢な表現学習の基盤として、クロスモーダルなセマンティック一貫性を使用することである。
不均一なモダリティを共有潜在空間に投影することにより、提案フレームワークはモダリティギャップを緩和し、不確実性推定と安定した特徴学習をサポートする構造的関係を明らかにする。
この基礎の上に構築された論文は、意味的堅牢性を高め、データ効率を向上し、大きな高品質のアノテーションに頼ることなく、ノイズや不完全な監視の影響を低減するための戦略を調査する。
マルチモーダル感情認識ベンチマークの実験は、一貫性に導かれるクロスモーダル転送がモデルの安定性、識別能力、ノイズや不完全な監視に対する堅牢性を大幅に改善することを示した。
遅延空間解析により、このフレームワークは困難な条件下でも信頼性の高いクロスモーダル構造を捕捉することを示した。
全体として、この論文は不確実性モデリング、セマンティックアライメント、データ効率の監視を統合することで、レジリエントなマルチモーダル学習に関する統一的な視点を提供し、信頼性と適応的な脳-コンピュータインタフェースシステムを開発するための実践的な洞察を提供する。
関連論文リスト
- LLM-Centric RAG with Multi-Granular Indexing and Confidence Constraints [5.2604064919135896]
本稿では,複雑な知識環境下での検索強化生成において,不十分なカバレッジ,不安定な結果,信頼性の制限といった問題に対処する。
複数粒度メモリインデックスと不確実性推定を統合した信頼度制御法を提案する。
提案手法は,QA精度,検索リコール,ランキング品質,事実整合性において,既存モデルよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2025-10-30T23:48:37Z) - Contrastive Learning-Based Dependency Modeling for Anomaly Detection in Cloud Services [6.382793463325052]
本稿では,コントラスト学習を統合した依存性モデリングと異常検出手法を提案する。
対照的な学習フレームワークを導入し、正と負のサンプルペアを構築し、正常パターンと異常パターンの分離性を高める。
提案手法は、Precision、Recall、F1-Score、AUCといった主要なメトリクスにおいて、既存の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2025-10-15T09:59:16Z) - Understanding and Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding [59.50808215134678]
この研究では、23の最先端のビデオLLMを評価する最初の総合的なベンチマークであるTrust-videoLLMを紹介した。
その結果、動的シーン理解、クロスモーダルレジリエンス、現実世界のリスク軽減において、大きな制限が示された。
論文 参考訳(メタデータ) (2025-06-14T04:04:54Z) - FedMM-X: A Trustworthy and Interpretable Framework for Federated Multi-Modal Learning in Dynamic Environments [0.0]
本稿では,分散化された動的環境における信頼性を確保するために,多モーダル推論によるフェデレーション学習を統一するフレームワークを提案する。
このアプローチはFedMM-Xと呼ばれ、クロスモーダル整合性チェック、クライアントレベルの解釈可能性メカニズム、動的信頼校正を利用する。
我々の発見は、現実の環境で堅牢で解釈可能で社会的に責任を負うAIシステムを開発するための道を開いた。
論文 参考訳(メタデータ) (2025-03-25T11:28:21Z) - Bridging Interpretability and Robustness Using LIME-Guided Model Refinement [0.0]
LIME(Local Interpretable Model-Agnostic Explanations)は、モデルロバスト性を体系的に強化する。
複数のベンチマークデータセットに対する実証的な評価は、LIME誘導の洗練は解釈可能性を改善するだけでなく、敵の摂動に対する耐性を著しく向上し、アウト・オブ・ディストリビューションデータへの一般化を促進することを示している。
論文 参考訳(メタデータ) (2024-12-25T17:32:45Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。
TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
論文 参考訳(メタデータ) (2022-04-25T03:48:49Z) - Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。
本研究では,長尾分布下における敵対的脆弱性と防御について検討する。
我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
論文 参考訳(メタデータ) (2021-04-06T17:53:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。