論文の概要: Bootstrap Your Own Variance

• arxiv url: http://arxiv.org/abs/2312.03213v1
• Date: Wed, 6 Dec 2023 01:02:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 16:30:30.438000
• Title: Bootstrap Your Own Variance
• Title（参考訳）: 独自の変数をブートストラップする
• Authors: Polina Turishcheva, Jason Ramapuram, Sinead Williamson, Dan Busbridge, Eeshan Dhekane, Russ Webb
• Abstract要約: Bootstrap Your Own Variance (BYOV) は,Backprop (BBB) によるベイズによる負のフリー自己監視学習 (SSL) アルゴリズムである。 BYOV vs. 教師付きBBBモデルの学習予測はガウス分布によってよく捉えられている。 BYOVはBYOLベースライン(+2.83%のテストECE、+1.03%のテストBrier)を改善し、様々な拡張でテストするとキャリブレーションと信頼性が向上する。
• 参考スコア（独自算出の注目度）: 5.931368241291182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding model uncertainty is important for many applications. We propose Bootstrap Your Own Variance (BYOV), combining Bootstrap Your Own Latent (BYOL), a negative-free Self-Supervised Learning (SSL) algorithm, with Bayes by Backprop (BBB), a Bayesian method for estimating model posteriors. We find that the learned predictive std of BYOV vs. a supervised BBB model is well captured by a Gaussian distribution, providing preliminary evidence that the learned parameter posterior is useful for label free uncertainty estimation. BYOV improves upon the deterministic BYOL baseline (+2.83% test ECE, +1.03% test Brier) and presents better calibration and reliability when tested with various augmentations (eg: +2.4% test ECE, +1.2% test Brier for Salt & Pepper noise).
• Abstract（参考訳）: モデルの不確実性を理解することは、多くのアプリケーションにとって重要である。 本稿では,Bootstrap Your Own Variance (BYOV) と,非負の自己監視学習(SSL)アルゴリズムであるBootstrap Your Own Latent (BYOL) と,モデル後部を推定するBayes by Backprop (BBB) を組み合わせたベイズ的手法を提案する。 BYOV対教師付きBBBモデルの学習予測はガウス分布によってよく捉えられ、学習パラメータ後部がラベルのない不確実性推定に有用であることを示す予備的な証拠を提供する。 BYOVは、決定論的BYOLベースライン(+2.83%のテストECE、+1.03%のテストBrier)を改善し、様々な拡張(+2.4%のテストECE、+1.2%のテストBrier for Salt & Pepperノイズ)でテストすると、キャリブレーションと信頼性が向上する。

関連論文リスト

• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
  擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。 このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
  論文  参考訳（メタデータ） (2024-01-09T08:59:39Z)
• Deep Bayes Factors [0.0]
  本稿では,2つの競合モデルのシミュレーションデータに基づいてベイズ係数のディープラーニング推定手法を提案する。 我々の推定器は要約統計を欠き、ABCモデル選択の難しさのいくつかを排除している。
  論文  参考訳（メタデータ） (2023-12-08T23:47:50Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• Self-Correcting Bayesian Optimization through Bayesian Active Learning [46.235017111395344]
  ハイパーパラメータ学習を明示的に優先する2つの獲得関数を提案する。 次に、SALを拡張してベイズ最適化とアクティブラーニングを同時に行う自己補正ベイズ最適化(SCoreBO)を導入する。
  論文  参考訳（メタデータ） (2023-04-21T14:50:53Z)
• ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
  ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。 各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。 これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
  論文  参考訳（メタデータ） (2022-09-04T12:49:20Z)
• BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
  本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。 本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-07-14T12:50:09Z)
• Active Learning under Pool Set Distribution Shift and Noisy Data [41.69385715445311]
  BALDはそのタスクに関係のない配布外データやジャンクデータに立ち往生していることを示す。 本稿では,プールセットの分布変化に対処するため, 予測予測情報ゲイン(EPIG)*について検討する。 EPIGは、プールセットの分布と異なるかもしれないテストデータ分布からサンプリングされた未ラベル*評価セット*上の*予測*の不確実性を減らす。
  論文  参考訳（メタデータ） (2021-06-22T12:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。