論文の概要: Twin-Boot: Uncertainty-Aware Optimization via Online Two-Sample Bootstrapping

• arxiv url: http://arxiv.org/abs/2508.15019v1
• Date: Wed, 20 Aug 2025 19:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.07364
• Title: Twin-Boot: Uncertainty-Aware Optimization via Online Two-Sample Bootstrapping
• Title（参考訳）: Twin-Boot:オンライン2サンプルブートストラップによる不確実性認識最適化
• Authors: Carlos Stein Brito,
• Abstract要約: 本研究では,不確実性推定と勾配学習を統合したリサンプリングベーストレーニング手法を開発した。 深層ネットワークや複雑な高次元ニューラル問題において、この手法は収量を改善し、解釈可能な不確実性写像を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard gradient descent methods yield point estimates with no measure of confidence. This limitation is acute in overparameterized and low-data regimes, where models have many parameters relative to available data and can easily overfit. Bootstrapping is a classical statistical framework for uncertainty estimation based on resampling, but naively applying it to deep learning is impractical: it requires training many replicas, produces post-hoc estimates that cannot guide learning, and implicitly assumes comparable optima across runs - an assumption that fails in non-convex landscapes. We introduce Twin-Bootstrap Gradient Descent (Twin-Boot), a resampling-based training procedure that integrates uncertainty estimation into optimization. Two identical models are trained in parallel on independent bootstrap samples, and a periodic mean-reset keeps both trajectories in the same basin so that their divergence reflects local (within-basin) uncertainty. During training, we use this estimate to sample weights in an adaptive, data-driven way, providing regularization that favors flatter solutions. In deep neural networks and complex high-dimensional inverse problems, the approach improves calibration and generalization and yields interpretable uncertainty maps.
• Abstract（参考訳）: 標準勾配降下法は、信頼度を測らない点推定を導出する。 この制限は、モデルが利用可能なデータに対して多くのパラメータを持ち、容易に過度に適合できる、過度なパラメータ化および低データのレシエーションにおいて、急性である。 ブートストラップ(Bootstrapping)は、再サンプリングに基づいた不確実性推定のための古典的な統計フレームワークであるが、ディープラーニングに鼻でそれを適用するのは現実的ではない。 本稿では,不確実性推定を最適化に統合した再サンプリングベースのトレーニング手法であるTwin-Boot-Bootstrap Gradient Descent(Twin-Boot)を紹介する。 2つの同一のモデルが独立したブートストラップサンプルで平行に訓練され、周期的な平均リセットは両方の軌道を同じ盆地に保持し、それらの分岐が局所的な(ベース内)不確実性を反映する。 トレーニングでは、この推定値を使用して、適応的でデータ駆動的な方法で重みをサンプリングし、よりフラットなソリューションを好む正規化を提供します。 ディープニューラルネットワークと複雑な高次元逆問題において、この手法は校正と一般化を改善し、解釈可能な不確実性マップを生成する。

関連論文リスト

• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent [14.784809634505903]
  本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。 ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T02:21:06Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Hinge-Wasserstein: Estimating Multimodal Aleatoric Uncertainty in Regression Tasks [9.600416563894658]
  画像からパラメータ値への回帰について検討し、ここでは確率分布を予測して不確実性を検出することが一般的である。 従来の損失関数は、完全な真実分布が存在しない場合、確率分布の予測が低く、自信が強くなる。 トレーニング中の弱い二次モードのペナルティを低減するために, ハンジ・ワッサースタイン(Hungge-Wasserstein)を提案する。
  論文  参考訳（メタデータ） (2023-06-01T11:20:09Z)
• BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
  本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。 本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-07-14T12:50:09Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。