論文の概要: Bayesian Metric Learning for Uncertainty Quantification in Image
Retrieval
- arxiv url: http://arxiv.org/abs/2302.01332v1
- Date: Thu, 2 Feb 2023 18:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 12:40:54.849440
- Title: Bayesian Metric Learning for Uncertainty Quantification in Image
Retrieval
- Title(参考訳): 画像検索における不確実性定量化のためのベイズ計量学習
- Authors: Frederik Warburg, Marco Miani, Silas Brack, Soren Hauberg
- Abstract要約: 距離学習のための最初のベイズエンコーダを提案する。
ネットワーク重みに関する分布をLaplace Approximationで学習する。
我々は,Laplacian Metric Learner (LAM) がよく校正された不確かさを推定し,分布外例を確実に検出し,最先端の予測性能を得ることを示す。
- 参考スコア(独自算出の注目度): 0.7646713951724012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose the first Bayesian encoder for metric learning. Rather than
relying on neural amortization as done in prior works, we learn a distribution
over the network weights with the Laplace Approximation. We actualize this by
first proving that the contrastive loss is a valid log-posterior. We then
propose three methods that ensure a positive definite Hessian. Lastly, we
present a novel decomposition of the Generalized Gauss-Newton approximation.
Empirically, we show that our Laplacian Metric Learner (LAM) estimates
well-calibrated uncertainties, reliably detects out-of-distribution examples,
and yields state-of-the-art predictive performance.
- Abstract(参考訳): 計量学習のための最初のベイズエンコーダを提案する。
従来の研究では、ニューラル・アモーティゼーションに頼るのではなく、Laplace Approximationでネットワーク重みの分布を学習する。
まず、対照的な損失が有効なログポストであることを示す。
次に、正の確定ヘッシアンを保証する3つの方法を提案する。
最後に,一般化ガウスニュートン近似の新たな分解法を提案する。
実験の結果,laplacian metric learner (lam) は不確かさを推定し,分散のサンプルを確実に検出し,最先端の予測性能が得られることがわかった。
関連論文リスト
- A Mean Field Approach to Empirical Bayes Estimation in High-dimensional
Linear Regression [8.345523969593492]
高次元線形回帰における経験的ベイズ推定について検討する。
もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。
これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
論文 参考訳(メタデータ) (2023-09-28T20:51:40Z) - Riemannian Laplace approximations for Bayesian neural networks [3.6990978741464904]
本稿では, 後円部形状に適応する簡易なパラメトリック近似後円板を提案する。
提案手法は従来のタスク間のラプラス近似よりも一貫して改善されていることを示す。
論文 参考訳(メタデータ) (2023-06-12T14:44:22Z) - Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。
従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文 参考訳(メタデータ) (2023-02-24T09:18:27Z) - On double-descent in uncertainty quantification in overparametrized
models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。
最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。
これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文 参考訳(メタデータ) (2022-10-23T16:01:08Z) - Posterior Refinement Improves Sample Efficiency in Bayesian Neural
Networks [27.11052209129402]
実験により、MC近似予測分布の鍵は、近似後部自体の品質であることが示された。
得られた後続近似は、ゴールド標準のフルバッチハミルトニアンモンテカルロでさえ競合することを示した。
論文 参考訳(メタデータ) (2022-05-20T09:24:39Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳(メタデータ) (2020-06-13T07:32:38Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳(メタデータ) (2020-06-04T21:51:21Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳(メタデータ) (2020-02-24T08:52:06Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。