論文の概要: Calibrating Multimodal Learning
- arxiv url: http://arxiv.org/abs/2306.01265v1
- Date: Fri, 2 Jun 2023 04:29:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 16:54:22.779596
- Title: Calibrating Multimodal Learning
- Title(参考訳): マルチモーダル学習の校正
- Authors: Huan Ma. Qingyang Zhang, Changqing Zhang, Bingzhe Wu, Huazhu Fu, Joey
Tianyi Zhou, Qinghua Hu
- Abstract要約: 本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。
この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
- 参考スコア(独自算出の注目度): 94.65232214643436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal machine learning has achieved remarkable progress in a wide range
of scenarios. However, the reliability of multimodal learning remains largely
unexplored. In this paper, through extensive empirical studies, we identify
current multimodal classification methods suffer from unreliable predictive
confidence that tend to rely on partial modalities when estimating confidence.
Specifically, we find that the confidence estimated by current models could
even increase when some modalities are corrupted. To address the issue, we
introduce an intuitive principle for multimodal learning, i.e., the confidence
should not increase when one modality is removed. Accordingly, we propose a
novel regularization technique, i.e., Calibrating Multimodal Learning (CML)
regularization, to calibrate the predictive confidence of previous methods.
This technique could be flexibly equipped by existing models and improve the
performance in terms of confidence calibration, classification accuracy, and
model robustness.
- Abstract(参考訳): マルチモーダル機械学習は、幅広いシナリオにおいて顕著な進歩を遂げた。
しかし、マルチモーダル学習の信頼性はほとんど未解明のままである。
本稿では,従来のマルチモーダル分類法では信頼度を推定するときに部分的モダリティに依存するような信頼できない予測的信頼感に苦しむことを明らかにする。
具体的には、現在のモデルで推定される信頼度は、いくつかのモダリティが崩壊した場合に増加する可能性がある。
この問題に対処するために,マルチモーダル学習のための直感的な原則,すなわち,一つのモダリティが取り除かれたときに自信が高まるべきではないことを提案する。
そこで本研究では,従来の手法の予測信頼度を校正するために,マルチモーダル学習(cml)を校正する新しい正則化手法を提案する。
この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルの堅牢性の観点から性能を向上させることができる。
関連論文リスト
- Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-05T16:35:30Z) - Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。
モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。
パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
論文 参考訳(メタデータ) (2024-05-28T13:27:30Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:44:14Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳(メタデータ) (2023-09-06T00:56:24Z) - Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。
提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文 参考訳(メタデータ) (2022-12-14T17:34:11Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳(メタデータ) (2021-11-11T14:28:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。