論文の概要: A Mutual Information Lower Bound for Multimodal Regression Active Learning

• arxiv url: http://arxiv.org/abs/2605.14917v1
• Date: Thu, 14 May 2026 14:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.890763
• Title: A Mutual Information Lower Bound for Multimodal Regression Active Learning
• Title（参考訳）: マルチモーダル回帰能動的学習のための相互情報下界
• Authors: Leonardo Ferreira Guilhoto, Akshat Kaushal, Paris Perdikaris,
• Abstract要約: Mutual Information Lower Bound (MI-LB) は、Mixture Network アンサンブルのクローズドフォーム近似である。 我々は,MI-LBがマルチモーダルシステムを備えたベンチマークで評価されたベースラインのすべてに一致または打ち勝つことを示す。
• 参考スコア（独自算出の注目度）: 9.04041860173466
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Active learning for continuous regression has lacked an acquisition function that targets epistemic uncertainty when the predictive distribution is multimodal: variance misses modal disagreement, and information-theoretic targets like BALD are designed for discrete outputs. We introduce a Two-Index framework that makes this separation explicit: one stochastic index selects among competing model hypotheses (epistemic source), while a second governs within-hypothesis randomness (aleatoric source). An entropy decomposition within the framework identifies the mutual information between the output and the epistemic index as a principled acquisition objective, and we prove this quantity vanishes as the model is trained on growing datasets, confirming that it captures exactly the uncertainty data can resolve. Because this mutual information is intractable for continuous outputs, we derive the Mutual Information Lower Bound (MI-LB) acquisition function, a closed-form approximation for Mixture Density Network ensembles. On benchmarks featuring multimodal systems, MI-LB matches or beats every baseline evaluated and is the only method to do so consistently -- geometric and Fisher-based baselines compete only when the input space already encodes the multimodality, and collapse otherwise.
• Abstract（参考訳）: 連続回帰のための能動的学習は、予測分布が多重モーダルであるときのてんかん不確実性を目標とする獲得関数を欠いている:分散はモーダル不一致を見逃し、BALDのような情報理論的ターゲットは離散出力のために設計されている。 この分離を明示するTwo-Indexフレームワークを導入する: 1つの確率指標は競合するモデル仮説( atistemic source)の中から選択し、もう1つは仮説内ランダム性(aleatoric source)を管理する。 フレームワーク内のエントロピー分解は、出力とてんかん指数の相互情報を原則的取得目的として識別し、この量が、モデルが成長データセットでトレーニングされているときに消滅し、不確実性データを正確に取得できることを確認する。 この相互情報は連続的な出力に対して難解であるため、混合密度ネットワークアンサンブルの閉形式近似であるMI-LB(Multual Information Lower Bound)取得関数を導出する。 マルチモーダルシステムを備えたベンチマークでは、MI-LBは評価されたすべてのベースラインと一致または打ち負かし、従順に行う唯一の方法である – 幾何学的およびフィッシャーベースのベースラインは、入力空間が既にマルチモーダルを符号化し、他の方法で崩壊した場合にのみ競合する。

関連論文リスト

• Explainable Multimodal Regression via Information Decomposition [27.157278306251772]
  部分情報分解(PID)に基づく新しい多モード回帰フレームワークを提案する。 本フレームワークは,予測精度と解釈可能性の両方において最先端の手法より優れ,効率的な推論のための情報モダリティ選択を可能にする。
  論文  参考訳（メタデータ） (2025-12-26T18:07:18Z)
• In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
  本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。 一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。 後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
  論文  参考訳（メタデータ） (2025-10-13T03:42:31Z)
• Multiple Hypothesis Dropout: Estimating the Parameters of Multi-Modal Output Distributions [22.431244647796582]
  本稿では,複数出力関数(Multiple-Output function, MoM)の解法について, 新たな解法であるMultiple hypothesis Dropoutを用いて提案する。 教師付き学習問題に対する実験は、我々の手法がマルチモーダルな出力分布を再構築するための既存のソリューションよりも優れていることを示している。 教師なし学習問題に関するさらなる研究は、離散オートエンコーダ内の潜在後続分布のパラメータを推定することで、コードブックの効率、サンプル品質、精度、リコールを大幅に改善することを示している。
  論文  参考訳（メタデータ） (2023-12-18T22:20:11Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Integrating Information Theory and Adversarial Learning for Cross-modal Retrieval [19.600581093189362]
  マルチメディアコミュニティでは,クロスモーダル検索における視覚データとテキストデータのマッチングが広く研究されている。 シャノン情報理論と対比学習の統合を提案する。 ギャップの観点からは,モダリティ分類と情報エントロピーを相反的に統合する。
  論文  参考訳（メタデータ） (2021-04-11T11:04:55Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。