論文の概要: Multi-Modal Learning with Bayesian-Oriented Gradient Calibration

• arxiv url: http://arxiv.org/abs/2505.23071v1
• Date: Thu, 29 May 2025 04:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.674304
• Title: Multi-Modal Learning with Bayesian-Oriented Gradient Calibration
• Title（参考訳）: Bayesian-Oriented Gradient Calibration を用いたマルチモーダル学習
• Authors: Peizheng Guo, Jingyao Wang, Huijie Guo, Jiangmeng Li, Chuxiong Sun, Changwen Zheng, Wenwen Qiang,
• Abstract要約: マルチモーダルラーニング(MML)は、様々なモーダルからの情報を統合し、予測精度を向上させる。 既存の方法は、主に重みが固定された勾配を集約し、すべての次元を等しく扱う。 本稿では,MMLの勾配不確かさを明示的にモデル化するためのベイズ指向勾配法BOGC-MMLを提案する。
• 参考スコア（独自算出の注目度）: 13.812027890572681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-Modal Learning (MML) integrates information from diverse modalities to improve predictive accuracy. However, existing methods mainly aggregate gradients with fixed weights and treat all dimensions equally, overlooking the intrinsic gradient uncertainty of each modality. This may lead to (i) excessive updates in sensitive dimensions, degrading performance, and (ii) insufficient updates in less sensitive dimensions, hindering learning. To address this issue, we propose BOGC-MML, a Bayesian-Oriented Gradient Calibration method for MML to explicitly model the gradient uncertainty and guide the model optimization towards the optimal direction. Specifically, we first model each modality's gradient as a random variable and derive its probability distribution, capturing the full uncertainty in the gradient space. Then, we propose an effective method that converts the precision (inverse variance) of each gradient distribution into a scalar evidence. This evidence quantifies the confidence of each modality in every gradient dimension. Using these evidences, we explicitly quantify per-dimension uncertainties and fuse them via a reduced Dempster-Shafer rule. The resulting uncertainty-weighted aggregation produces a calibrated update direction that balances sensitivity and conservatism across dimensions. Extensive experiments on multiple benchmark datasets demonstrate the effectiveness and advantages of the proposed method.
• Abstract（参考訳）: マルチモーダルラーニング(MML)は、様々なモーダルからの情報を統合し、予測精度を向上させる。 しかし、既存の手法は主に固定重み付き勾配を集約し、すべての次元を等しく扱い、各モードの内在的な勾配の不確実性を見渡す。 これが原因かもしれない 一 繊細な寸法の過度な更新、性能の低下、及び (二)感度の低い次元の更新が不十分であること、学習を妨げること。 この問題に対処するために, MMLのベイズ指向勾配校正法BOGC-MMLを提案し, 勾配の不確かさを明示的にモデル化し, モデル最適化を最適方向に導く。 具体的には、まず各モードの勾配を確率変数としてモデル化し、その確率分布を導出し、勾配空間の完全不確実性を捉える。 そこで我々は,各勾配分布の精度(逆分散)をスカラーエビデンスに変換する有効な方法を提案する。 この証拠は、すべての勾配次元における各モジュラリティの信頼度を定量化する。 これらのエビデンスを用いて、次元ごとの不確かさを明示的に定量化し、デプスター・シェーファー則を減らしてそれらを融合する。 結果として生じる不確実性の重み付けは、寸法の感度と保守性のバランスをとるように調整された更新方向を生成する。 複数のベンチマークデータセットに対する大規模な実験により,提案手法の有効性と利点が示された。

関連論文リスト

• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing [1.6114012813668932]
  微分不可能な関数を断片的に定義するための単純なフレームワークを導入し,スムース化を得るための体系的なアプローチを提案する。 我々の主な貢献は SGD の新たな変種 Diagonalisation Gradient Descent であり、滑らかな近似の精度を徐々に向上させる。 我々のアプローチは単純で高速で安定であり、作業正規化分散の桁数削減を実現している。
  論文  参考訳（メタデータ） (2024-02-19T00:43:22Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models [0.0]
  深層混合モデルに対する高速かつ高精度な変分推定法(VI)を提案する。 これは、大域的パラメータと潜伏変数の結合後部を対象とする、明確に定義された勾配変動最適化を採用している。 提案手法は,2つの最先端自然度勾配法よりも高速かつ精度が高いことを示す。
  論文  参考訳（メタデータ） (2023-02-27T06:24:20Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• A Quadrature Rule combining Control Variates and Adaptive Importance Sampling [0.0]
  モンテカルロ積分推定の精度を向上させるために, 単純重み付き最小二乗法が有効であることを示す。 我々の主な成果は、プロシージャの確率的誤差の非漸近的境界である。 この手法のよい振る舞いは、ベイズ線形回帰のための合成例と実世界のデータに実証的に説明される。
  論文  参考訳（メタデータ） (2022-05-24T08:21:45Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。