論文の概要: Analytical Correction for Subsampling Bias in Drifting Models

• arxiv url: http://arxiv.org/abs/2604.27239v1
• Date: Wed, 29 Apr 2026 22:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.827254
• Title: Analytical Correction for Subsampling Bias in Drifting Models
• Title（参考訳）: ドリフトモデルにおけるサブサンプリングバイアスの解析的補正
• Authors: Jiaru Zhang, Zeyun Deng, Juanwu Lu, Ziran Wang, Ruqi Zhang,
• Abstract要約: ドリフト場は、データと電流発生器分布の上に、魅力的で反発性のあるソフトマックス重み付きセントロイドを結合する。 実際には、各分布からの$n$サンプルのミニバッチのみが利用可能であり、各セントロイドは経験的推定によって近似される。 ミニバッチ・セントロイドは一般に、ソフトマックス自己正規化によるO(1/n)$バイアスを持つターゲットセントロイドの偏り推定器であることが示される。 我々は,このバイアスを補正するために,クローズドフォームなプラグイン調整であるABC(Analytical Bias Correction)を提案する。
• 参考スコア（独自算出の注目度）: 24.35287035726147
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Drifting models are capable one-step generative models trained to follow a drifting field. The field combines attractive and repulsive softmax-weighted centroids over the data and current-generator distributions. In practice, only a minibatch of $n$ samples from each distribution is available, and each centroid is approximated by an empirical estimate. In this paper, we begin by showing that the minibatch centroid is in general a biased estimator of the target centroid, with a pointwise $O(1/n)$ bias arising from softmax self-normalization. Correcting this bias requires the expectation over the full distribution, which is intractable. We instead approximate the leading bias term from in-batch statistics and propose Analytical Bias Correction (ABC), a closed-form plug-in adjustment. We prove that ABC reduces the bias from $O(1/n)$ to $O(1/n^2)$, introduces no first-order increase in total variance, and preserves convex-hull containment of the corrected centroid. In practice, ABC requires only two additional lines of code and has negligible wall-time overhead under compiled execution. Toy experiments confirm the theoretical $O(1/n)$ and $O(1/n^2)$ scaling. On CIFAR-10, ABC reduces FID and trains faster, with the largest gains at small $n$, where the bias is most significant.
• Abstract（参考訳）: 漂流モデルは、漂流場に従うために訓練された1段階の生成モデルである。 このフィールドは、データと電流発生器分布の上に、魅力的で反発性のあるソフトマックス重み付きセントロイドを結合する。 実際には、各分布からの$n$サンプルのミニバッチのみが利用可能であり、各セントロイドは経験的推定によって近似される。 本稿では,ミニバッチ・セントロイドが一般にターゲット・セントロイドの偏差推定器であり,ソフトマックス自己正規化による偏差がO(1/n)$であることを示す。 このバイアスを補正するには、完全な分布に対する期待が必要であり、それは難解である。 代わりに、バッチ内統計から先頭バイアス項を近似し、クローズドフォームのプラグイン調整である分析バイアス補正(ABC)を提案する。 ABC が $O(1/n)$ から $O(1/n^2)$ にバイアスを減らし、全分散の1次増加を伴わず、補正されたセントロイドの凸フル包含を保っていることを証明した。 実際には、ABCは2行追加のコードしか必要とせず、コンパイル時に壁面のオーバーヘッドは無視できる。 トイ実験は理論的な$O(1/n)$と$O(1/n^2)$スケーリングを確認する。 CIFAR-10では、ABCはFIDを減らし、より速く列車を走らせる。

関連論文リスト

• Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
  我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。 この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-12T20:49:33Z)
• Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions [3.6997773420183866]
  本研究では,フォワード反射逆スプリッティング法(FRBS)のための新しい分散還元法を開発した。 ミニバッチのような偏見のない推定器とは異なり、偏見のある変種の開発は基本的な技術的課題に直面している。 ループレスSVRGやSAGAを利用する場合,$mathcalO(n2/3-2)$と$mathcalO(-10/3)$が最良であることを示す。
  論文  参考訳（メタデータ） (2026-03-16T17:39:25Z)
• Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
  ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。 学習がエラー分布の「ハードテール」を小さくすることを示す。
  論文  参考訳（メタデータ） (2026-01-07T10:00:17Z)
• Faster Diffusion Models via Higher-Order Approximation [28.824924809206255]
  本稿では,d1+2/K varepsilon-1/K $$のスコア関数評価のみを必要とする,原則付き無トレーニングサンプリングアルゴリズムを提案する。 我々の理論はロバストなvis-a-vis不正確なスコア推定であり、スコア推定誤差が増加するにつれて優雅に劣化する。 より広範に、我々は高速サンプリングのための高次手法の有効性を理解するための理論的枠組みを開発した。
  論文  参考訳（メタデータ） (2025-06-30T16:49:03Z)
• Temperature is All You Need for Generalization in Langevin Dynamics and other Markov Processes [43.857810191928166]
  過度にパラメータ化されたモデルのトレーニングにおいて、トレーニングとテストエラーのギャップを分析する。 トレーニング時間にもミキシングにも依存せず、次元や勾配規範にも依存せず、損失やモデルの他の特性にも依存しています。
  論文  参考訳（メタデータ） (2025-05-25T10:49:09Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。