論文の概要: Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2607.23856v2
- Date: Tue, 28 Jul 2026 15:09:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 14:13:57.673842
- Title: Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification
- Title（参考訳）: Covariance Last-Layer Ensembles: 効率的な不確実性定量化のための関数空間の多様性
- Abstract要約: Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は深いアンサンブルの多様性と校正の多くを回復する。
OCを最終層アンサンブルと見なすと、検出器を2軸の分類に整理する。
- 参考スコア（独自算出の注目度）: 0.8803840644459077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A Last-Layer Ensemble (LLE), $K$ linear units on one shared frozen feature map, is an efficient single-pass approach to the disagreement-based epistemic uncertainty for out-of-distribution (OOD) detection. Its weakness is that members share the backbone gradient and can converge toward the same function, collapsing the inter-member diversity the signal depends on. Whether last-layer diversity can be restored, and what mitigates the collapse, is an open question. The weight-orthonormality defining Orthonormal Certificates (OC), the weight-orthonormal special case of the LLE, is only an indirect correction; it decorrelates the weights of the members, not their predictions. Here, we instead target the collapse directly in function space, with a Covariance Last-Layer Ensemble (cov-LLE) that places a direct covariance penalty on member activations. Cov-LLE restores the function-space diversity that weight-orthonormality cannot, and at matched $K$ recovers much of the diversity and calibration of a deep ensemble at $1\times$ backbone cost (in-distribution prediction variance $0.05\!\to\!9.3$ vs. $22.1$ ($\times10^{-3}$), and ECE $0.135\!\to\!0.090$ vs. $0.035$, for a $K\times$-cost deep ensemble), at no cost to accuracy. Viewing OC as a last-layer ensemble also organizes detectors into a two-axis taxonomy (by how their units are trained and how their outputs are scored) and exposes the OC score as a magnitude, motivating a scale-invariant, label-free direction score that repairs its near-OOD failure, adding $+0.16$ to $+0.18$ ROC AUC on every backbone.
- Abstract（参考訳）: Last-Layer Ensemble (LLE) は、1つの共有凍結特徴写像上の$K$リニアユニットであり、オフ・オブ・ディストリビューション(OOD)検出のための不一致に基づく疫学的不確実性に対する効率的なシングルパスアプローチである。
その弱点は、メンバーがバックボーン勾配を共有し、信号が依存するメンバー間の多様性を崩壊させ、同じ機能に向かって収束できることである。
最終層の多様性が回復可能か、崩壊を緩和するかは、未解決の問題である。
Orthonormal Certificates (OC) の定義するウェイト・オルソノーマル性(英語版)は、LLEのウェイト・オルソノーマル特別な場合であり、間接的な補正にすぎない。
ここでは、メンバの活性化に直接共分散ペナルティを与える共分散Last-Layer Ensemble (cov-LLE) を用いて、関数空間内での崩壊を直接ターゲットとする。
Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は、ディープアンサンブルの多様性とキャリブレーションの多くをバックボーンコスト$1\times$(分布予測分散$0.05\!
やれ!
9.3$ vs. 2.2.1$$\times10^{-3}$) と ECE $0.135\!
やれ!
0.090$ vs.0.035$、$K\times$-cost deep ensemble) は、正確さを犠牲にしない。
OCを最終層アンサンブルと見なすと、検出器を2軸の分類(ユニットの訓練方法と出力の計測方法)に整理し、OCスコアを大きさとして公開し、スケール不変でラベルなしの方向スコアを動機付け、約OODの故障を修復し、すべてのバックボーンに+0.16$から+0.18$ ROC AUCを加算する。
関連論文リスト
- Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳（メタデータ） (2026-07-14T02:08:33Z) - A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。
インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
論文 参考訳（メタデータ） (2026-06-12T16:46:24Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - When Does Margin Clamping Affect Training Variance? Dataset-Dependent Effects in Contrastive Forward-Forward Learning [0.0]
コントラストフォワード(Contrastive Forward-Forward, CFF)学習は、教師付きコントラスト目標に対して、ビジョントランスフォーマーを層別に層状化する。
比較損失における正対辺のマージンは、類似度クランプの飽和により適用される。
対数確率の後にマージンを減じる別の定式化が、平均-上-正の還元の下で勾配ニュートラルであることを証明する。
論文 参考訳（メタデータ） (2026-03-01T07:00:38Z) - Wasserstein-regularized Conformal Prediction under General Distribution Shift [21.29977879431466]
等式予測は、i.d.仮定の下で真のターゲットの1-alpha$カバレッジが保証された予測セットを生成する。
本稿では、ワッサーシュタイン距離に基づくカバレッジギャップの上界を提案し、確率測度をプッシュフォワードで解析する。
本稿では,重要重み付けと正規化表現学習(WR-CP)に基づくアルゴリズム設計のための分離を利用して,有限サンプル誤差境界のワッサーシュタイン境界を低減する。
論文 参考訳（メタデータ） (2025-01-23T07:29:44Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。