論文の概要: Higher-Order Asymptotics of Test-Time Adaptation for Batch Normalization Statistics

• arxiv url: http://arxiv.org/abs/2505.16257v1
• Date: Thu, 22 May 2025 05:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.064392
• Title: Higher-Order Asymptotics of Test-Time Adaptation for Batch Normalization Statistics
• Title（参考訳）: バッチ正規化統計量に対するテスト時間適応の高次漸近
• Authors: Masanari Kimura,
• Abstract要約: 本研究では,分散シフト下でのバッチ正規化(BN)統計のリアルタイム適応のための高次フレームワークを開発する。 トレーニングとテストの分布の統計的相違を解析することにより、BN平均の正規化差に対するエッジワース展開を導出する。 我々は適応過程におけるバイアス、分散、歪の間のトレードオフを定量化し、モデルリスクに縛られる対応する一般化を確立する。
• 参考スコア（独自算出の注目度）: 1.1240642213359266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study develops a higher-order asymptotic framework for test-time adaptation (TTA) of Batch Normalization (BN) statistics under distribution shift by integrating classical Edgeworth expansion and saddlepoint approximation techniques with a novel one-step M-estimation perspective. By analyzing the statistical discrepancy between training and test distributions, we derive an Edgeworth expansion for the normalized difference in BN means and obtain an optimal weighting parameter that minimizes the mean-squared error of the adapted statistic. Reinterpreting BN TTA as a one-step M-estimator allows us to derive higher-order local asymptotic normality results, which incorporate skewness and other higher moments into the estimator's behavior. Moreover, we quantify the trade-offs among bias, variance, and skewness in the adaptation process and establish a corresponding generalization bound on the model risk. The refined saddlepoint approximations further deliver uniformly accurate density and tail probability estimates for the BN TTA statistic. These theoretical insights provide a comprehensive understanding of how higher-order corrections and robust one-step updating can enhance the reliability and performance of BN layers in adapting to changing data distributions.
• Abstract（参考訳）: 本研究では,古典的エッジワース展開法とサドルポイント近似法を新しい一段階のM-推定の観点から統合することにより,分散シフト下でのバッチ正規化(BN)統計量の高次漸近的適応(TTA)フレームワークを開発する。 トレーニングとテスト分布の統計的相違を解析することにより、BN平均の正規化差に対するエッジワース展開を導出し、適応された統計量の平均二乗誤差を最小化する最適な重み付けパラメータを得る。 BN TTAを1段階のM-推定器として再解釈することで、スキューネスや他の高次モーメントを推定器の挙動に組み込む高次局所漸近性結果の導出が可能になる。 さらに、適応過程におけるバイアス、分散、歪のトレードオフを定量化し、モデルリスクに縛られた対応する一般化を確立する。 洗練されたサドルポイント近似により、BN TTA統計量に対して一様精度の密度とテール確率の推定が得られる。 これらの理論的な洞察は、高階補正とロバストなワンステップ更新が、データ分布の変化に適応するBN層の信頼性と性能をいかに向上するかを包括的に理解する。

関連論文リスト

• Deep Partially Linear Transformation Model for Right-Censored Survival Data [9.991327369572819]
  本稿では,推定,推測,予測のための汎用かつ柔軟なフレームワークとして,深部部分線形変換モデル(DPLTM)を提案する。 総合シミュレーション研究は、推定精度と予測パワーの両方の観点から提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-10T15:50:43Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Optimal Change-Point Detection with Training Sequences in the Large and Moderate Deviations Regimes [72.68201611113673]
  本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。 基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
  論文  参考訳（メタデータ） (2020-03-13T23:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。