論文の概要: (Implicit) Ensembles of Ensembles: Epistemic Uncertainty Collapse in Large Models

• arxiv url: http://arxiv.org/abs/2409.02628v1
• Date: Wed, 4 Sep 2024 11:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 18:53:31.395038
• Title: (Implicit) Ensembles of Ensembles: Epistemic Uncertainty Collapse in Large Models
• Title（参考訳）: 例)アンサンブルのアンサンブル:大モデルにおけるてんかん性不確かさの崩壊
• Authors: Andreas Kirsch,
• Abstract要約: 疫学的な不確実性は、安全クリティカルなアプリケーションとアウト・オブ・ディストリビューション検出タスクに不可欠である。 深層学習モデルのパラドックス現象を明らかにする。
• 参考スコア（独自算出の注目度）: 3.0539022029583953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Epistemic uncertainty is crucial for safety-critical applications and out-of-distribution detection tasks. Yet, we uncover a paradoxical phenomenon in deep learning models: an epistemic uncertainty collapse as model complexity increases, challenging the assumption that larger models invariably offer better uncertainty quantification. We propose that this stems from implicit ensembling within large models. To support this hypothesis, we demonstrate epistemic uncertainty collapse empirically across various architectures, from explicit ensembles of ensembles and simple MLPs to state-of-the-art vision models, including ResNets and Vision Transformers -- for the latter, we examine implicit ensemble extraction and decompose larger models into diverse sub-models, recovering epistemic uncertainty. We provide theoretical justification for these phenomena and explore their implications for uncertainty estimation.
• Abstract（参考訳）: 疫学的な不確実性は、安全クリティカルなアプリケーションとアウト・オブ・ディストリビューション検出タスクに不可欠である。 しかし、深層学習モデルのパラドックス現象を明らかにする: モデル複雑性が増加するにつれて、エピステマティックな不確実性が崩壊し、より大きなモデルがより良い不確実性定量化を提供するという仮定に挑戦する。 提案手法は,大規模モデル内での暗黙のアンサンブルに起因する。 この仮説を支持するために,我々は,アンサンブルと単純なMPPの明示的なアンサンブルから,ResNetsやVision Transformerを含む最先端のビジョンモデルに至るまで,さまざまなアーキテクチャで経験的にエピステミック不確実性崩壊を実証する。 我々はこれらの現象を理論的に正当化し、不確実性推定にその意味を探求する。

関連論文リスト

• On the Calibration of Epistemic Uncertainty: Principles, Paradoxes and Conflictual Loss [3.8248583585487155]
  証拠不確実性は、Deep Ensembles、Bayesian Deep Networks、Evidential Deep Networksによって生成される。 測定可能ではあるが、この形の不確実性は客観的に校正することは困難である。 以上の要件に則った競合損失という,深層アンサンブルの正規化関数を提案する。
  論文  参考訳（メタデータ） (2024-07-16T23:21:28Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [85.67870425656368]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Quantification of Uncertainty with Adversarial Models [6.772632213236167]
  不確実性の定量化は、現実のアプリケーションにおいて実行可能な予測にとって重要である。 逆数モデル(QUAM)による不確かさの定量化を提案する。 QUAM は積分の下にある積全体が大きい領域を識別する。
  論文  参考訳（メタデータ） (2023-07-06T17:56:10Z)
• High Fidelity Image Counterfactuals with Probabilistic Causal Models [25.87025672100077]
  深部構造因果モデルを用いた高忠実度画像反事実の正確な推定のための因果生成モデルフレームワークを提案する。 我々は、因果媒介分析のアイデアと生成モデリングの進歩を活用し、因果モデルにおける構造変数の新しい深い因果機構を設計する。
  論文  参考訳（メタデータ） (2023-06-27T19:28:41Z)
• Decision-Making Under Uncertainty: Beyond Probabilities [5.358161704743754]
  古典的な仮定は、確率はシステムの不確実性をすべて十分に捉えることができるというものである。 本稿では、この古典的解釈を超える不確実性に焦点を当てる。 離散モデルと連続モデルの両方に対していくつかの解法を示す。
  論文  参考訳（メタデータ） (2023-03-10T10:53:33Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• A General Framework for Survival Analysis and Multi-State Modelling [70.31153478610229]
  ニューラル常微分方程式を多状態生存モデル推定のためのフレキシブルで一般的な方法として用いる。 また,本モデルでは,サバイバルデータセット上での最先端性能を示すとともに,マルチステート環境での有効性を示す。
  論文  参考訳（メタデータ） (2020-06-08T19:24:54Z)
• Model Uncertainty Quantification for Reliable Deep Vision Structural Health Monitoring [2.5126058470073263]
  本稿では,深部視覚構造型健康モニタリングモデルに対するベイズ推定を提案する。 不確かさはモンテカルロのドロップアウトサンプリングを用いて定量化することができる。 き裂, 局部損傷同定, 橋梁部品検出の3つの独立したケーススタディについて検討した。
  論文  参考訳（メタデータ） (2020-04-10T17:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。