論文の概要: Feature Normalization under Finite Training Budgets

• arxiv url: http://arxiv.org/abs/2610.16845v1
• Date: Mon, 12 Oct 2026 14:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:15:49.665479
• Title: Feature Normalization under Finite Training Budgets
• Title（参考訳）: 最終訓練予算下における特徴正規化
• Abstract要約: 標準化および非スケールトレーニングによって達成できる最低限のレアサブグループリスクを特徴付ける。 予測される希少な観測回数が有限でありながら、頻度が消えるにつれて、両方の最適化されたリスクを導出する。
• 参考スコア（独自算出の注目度）: 1.29839416571547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standardizing a rare feature can help stochastic gradient descent learn its effect within a finite budget, but it also changes the noise cost of learning. We characterize the lowest rare-subgroup risks attainable by standardized and unscaled training when each chooses a nonnegative constant learning rate and a deterministic stopping time under the same observation cap. For two independent binary features, we derive both optimized risks as prevalence vanishes while the expected number of rare observations remains finite. Uniform control over rates and stopping times reduces each limiting oracle to a scalar minimization. With positive noise, the preferred scaling changes exactly once as we move signal to the rare feature while the limiting risk at initialization stays fixed and positive. The formulas also explain how noise and budget affect the comparison. Separate finite-prevalence bounds favor standardization on a rare-dominant signal family and unscaled training on a common-dominant family. The results concern final iterates with population preprocessing and fresh observations. Exact-moment searches assess the approximation at finite prevalence. In a controlled study, both orderings persist under observation reuse, estimated preprocessing, and intercept fitting when tuning choices are fixed before evaluation. Selecting a predictor after observing training can reverse an ordering, even when selection uses exact population risk.
• Abstract（参考訳）: 稀な特徴の標準化は、確率的勾配降下が有限の予算でその効果を学ぶのに役立つが、学習のノイズコストも変化させる。 我々は,非負の定点学習率と,同じ観測キャップの下で決定論的停止時間を選択する場合に,標準化および非スケールトレーニングによって達成できる最下位のレアサブグループリスクを特徴付ける。 2つの独立なバイナリー特徴に対して、予測される希少な観測回数が有限でありながら、有病率が消えるにつれて、両方の最適化されたリスクを導出する。 速度と停止時間の均一な制御は、各制限オラクルをスカラー最小化に還元する。 ポジティブノイズでは、シグナルをレアな特徴に移すと、望ましいスケーリングが1度だけ変化しますが、初期化時の制限リスクは固定的でポジティブです。 この公式は、ノイズと予算が比較にどのように影響するかも説明している。 異なる有限値境界は、希少な支配的信号系列の標準化と、共通支配的信号系列の非スケールな訓練を好んでいる。 結果は、人口前処理と新鮮な観察による最終段階の反復に関するものである。 厳密なモーメント探索は、近似を有限確率で評価する。 制御された研究では、両方の順序は、観測再利用、推定前処理、調整選択が評価の前に固定されたときのインターセプトフィッティングの下で持続する。 トレーニング観察後の予測器の選択は、選択が正確な人口リスクを使用する場合でも、順序を逆転させる可能性がある。

関連論文リスト

• Tail-Weight Control and Localized Generalization in Nearly Low-Rank Adversarial Classification [8.110061989547228]
  実験的なランプ取り付けは、人口が最適に無視しても純粋ノイズの特徴に重みを割り当てることができる。 このギャップをガウス信号と雑音によるノルム制約付き逆数分類の定量化を行う。
  論文  参考訳（メタデータ） (2026-09-20T15:00:02Z)
• Prediction-Only Distillation in Linear and Logistic Regression [61.07540493350384]
  自己蒸留は典型的には、学生が教師の元々のトレーニングインプットで再訓練されるときに研究される。 我々は、新しいX予測混合方式により、この予測のみの方式でSDを研究する。 二項ロジスティック回帰では、予測混合は教師と純蒸留の両方より優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-16T20:45:56Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning [16.158545640309438]
  我々は勾配流学習のための統計的推論フレームワークを開発した。 トレーニング時間は、分散が再配置される方法を決定する分散成分パラメータになる。 固定勾配系における深層学習モデルは、理論の現代AIインスタンス化を提供する。
  論文  参考訳（メタデータ） (2026-05-27T05:32:24Z)
• Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes [0.0]
  片方の治療用アームが他方よりもはるかに小さい,少数のプラセボ系について検討した。 それらは、その名目レベルよりも、真の効果をほとんど含まない。 本稿では,各アームの結果面をガウス過程でモデル化するGP-CATEを提案する。
  論文  参考訳（メタデータ） (2026-05-26T11:18:42Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Localized Uncertainty Quantification in Random Forests via Proximities [1.0195618602298684]
  機械学習では、不確実性定量化はモデルの予測の信頼性を評価するのに役立つ。 従来のアプローチでは予測精度が重視されることが多いが、不確実性対策の導入に焦点が当てられている。 自然発生試験セットと類似度尺度(確率)をランダム林の副産物と見なす新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-26T20:53:28Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Tolerance and Prediction Intervals for Non-normal Models [0.0]
  予測間隔は、繰り返しサンプリングにおいてランダムプロセスから将来の観察をカバーする。 寛容間隔は繰り返しサンプリングにおいて集団パーセンタイルをカバーし、しばしば中心的な量に基づいている。
  論文  参考訳（メタデータ） (2020-11-23T17:48:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。