論文の概要: Variational Filtering for Bayesian Last Layers with an Independent Binary Probit Surrogate

• arxiv url: http://arxiv.org/abs/2610.16578v1
• Date: Mon, 12 Oct 2026 11:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:26:58.28274
• Title: Variational Filtering for Bayesian Last Layers with an Independent Binary Probit Surrogate
• Title（参考訳）: 独立二元プロビットサロゲートを持つベイズラスト層の変分フィルタ
• Abstract要約: 深層分類器の最終層に対する変分フィルタリングアルゴリズムを提案する。 各ミニバッチは正確な予測ステップで同化され、その後クローズドフォームの変分更新が行われる。 DINOv3のバックボーンを同一のプロトコルで調整した2つのベースラインに対して評価した。
• 参考スコア（独自算出の注目度）: 41.81526577151929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep classifiers trained by gradient descent need many passes over the data to become accurate, and even then are not always well calibrated; post-hoc temperature scaling corrects calibration after training but cannot influence training-time accuracy or convergence. We propose a variational filtering algorithm for the last layer of deep classifiers, whose parameters are treated as the latent state of a linear-Gaussian state-space model. Each mini-batch is assimilated by an exact prediction step followed by a closed-form variational update, made conjugate by an independent binary probit (IBProbit) surrogate for the categorical likelihood. The filter's process noise stabilises the updates under feature drift and keeps the predictive distribution from collapsing to a point estimate, allowing the same procedure to be used for linear probing on a frozen backbone and for full-network fine-tuning. We evaluate on DINOv3 backbones against two baselines tuned under an identical protocol: AdamW with cross-entropy and post-hoc temperature scaling, and Variational Bayesian Last Layers (VBLL). As a linear probe on frozen features, IBProbit attains the best accuracy and negative log-likelihood on all five downstream tasks at the largest backbone, and on two of the five at the smallest. In out-of-distribution detection with CIFAR probes on the largest backbone, IBProbit reduces the false-positive rate at 95\% true-positive rate by a factor of 1.4 to 3.2 relative to the better of the two baselines, on all three dataset pairs. When the whole network is fine-tuned on ImageNet-1k, IBProbit reaches the final performance of the cross-entropy baseline in half the wall-clock time.
• Abstract（参考訳）: 勾配勾配で訓練された現代の深層分類器は、正確になるために多くのパスを必要とするが、それでも常に十分に校正されているとは限らない。 線形ガウス状態空間モデルの潜在状態として扱われる深層分類器の最後の層に対する変分フィルタリングアルゴリズムを提案する。 各ミニバッチは正確な予測ステップで同化され、続いてクローズドフォームの変分更新が行われ、カテゴリー的可能性のために独立バイナリプロビット(IBProbit)が共役する。 フィルタのプロセスノイズは、特徴漂流下での更新を安定化し、予測分布が崩壊するのをポイント推定に保ち、凍結したバックボーン上の線形探索やフルネットワークの微調整に同じ手順が使用できる。 我々はDINOv3のバックボーンについて,AdamW with cross-entropy and post-hoc temperature scaling, and Variational Bayesian Last Layers (VBLL) の2つの基本ラインに対して評価を行った。 IBProbitは凍結した特徴の線形プローブとして、最大のバックボーンの5つの下流タスクと、最小の5つのタスクのうち2つのタスクにおいて、最も正確で負のログライクな状態が得られる。 最大のバックボーン上のCIFARプローブによるアウト・オブ・ディストリビューション検出において、IBProbitは、3つのデータセットペアすべてに対して、偽陽性率を95% % の真陽性率で1.4から3.2 の係数で減少させる。 ImageNet-1kでネットワーク全体を微調整すると、IBProbitは壁時計の半分の時間でクロスエントロピーベースラインの最終的な性能に達する。

関連論文リスト

• Error Correction in Trained TTT Layers [0.0]
  テストタイムトレーニングレイヤは、入力シーケンスを処理しながらメモリを更新する。 我々は,TTT実装における予測に基づく更新の構造と実証的役割について検討した。
  論文  参考訳（メタデータ） (2026-10-12T06:48:31Z)
• Partially Informed Stochastic Optimization via Zeroth-Order Residual Tracking [38.97446792838266]
  部分的インフォームド最適化(PISO)は、利用可能なコンポーネントと残余イテレーションの実行推定を組み合わせたものである。 滑らかな非目的に対して、残差の初期等級に依存する収束保証を確立する。 PISOは、リプシッツと(O(d2varepsilon-5)の下で、さらにリプシッツとヘッセンの仮定の下で、主要な関数探索複合体(Od2varepsilon-6)を得る。
  論文  参考訳（メタデータ） (2026-10-09T17:20:41Z)
• One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
  reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
  論文  参考訳（メタデータ） (2026-10-08T17:58:36Z)
• Online Bayesian Node Classification on Inductive Graphs under Distribution Shift [4.12346015436419]
  我々は,エンコーダと近似した最終層後層を共同で訓練する変分ベイズ最終層(VBLL)の目的を導入する。 オンラインGVBLLは、データセット毎に最適な精度と負のログ類似性を達成する唯一の方法である。 最強の非GVBLLベースラインよりも最大17ポイント、Ogbn-arxiv14ポイントの精度が向上する。
  論文  参考訳（メタデータ） (2026-09-12T02:23:30Z)
• Rethinking Pixel Mean Flows via Interval Denoiser [95.11499828543344]
  潜在自由生成のためのフレームワークであるInterval Denoiserを提案する。 その結果,FIDは1ステップ (1-NFE) で4.55, 2ステップ (2-NFE) で3.98であった。
  論文  参考訳（メタデータ） (2026-08-05T13:22:43Z)
• Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
  空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。 SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
  論文  参考訳（メタデータ） (2026-06-07T15:22:13Z)
• Exact Stiefel Optimization for Probabilistic PLS: Closed-Form Updates, Error Bounds, and Calibrated Uncertainty [5.844591976842085]
  本研究では,雑音事前推定,制約付き確率最適化,予測キャリブレーションを組み合わせたエンドツーエンドフレームワークを開発した。 我々は、任意のガウス化により、このフレームワークをガウス以下の設定に拡張し、ブロック構造フィッシャー解析により、クローズドフォームの標準エラーを提供する。
  論文  参考訳（メタデータ） (2026-05-12T06:38:12Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。