論文の概要: Statistical Gains from Looped Estimation under Parameter Budgets

• arxiv url: http://arxiv.org/abs/2609.25778v1
• Date: Tue, 22 Sep 2026 07:14:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.264486
• Title: Statistical Gains from Looped Estimation under Parameter Budgets
• Title（参考訳）: パラメータ予算に基づくループ推定による統計的ゲイン
• Abstract要約: ループ推定器は繰り返し、イテレーション間で共有されるパラメータを持つ1つの適合した演算子を適用します。 共通のパラメータ予算の下で統計的精度を向上させることができる。 繰り返し計算はパラメータを追加することなく改善され、計算コストと適合クラスの複雑さが増大する。
• 参考スコア（独自算出の注目度）: 11.857867207010981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Growing memory demands in artificial intelligence motivate learning with fewer trainable parameters. We ask whether a looped estimator, which repeatedly applies one fitted operator with parameters shared across iterations, can improve statistical accuracy under a common parameter budget. Its conventional untied counterpart uses separate parameters at each iteration. For general likelihood models, we establish an upper bound on squared Hellinger risk for looped sieve maximum likelihood and a minimax lower bound over the tuned untied family. These bounds reveal a parameter--iteration--accuracy tradeoff: repeated computation can improve approximation without adding parameters, while increasing computational cost and fitted-class complexity. For targets of known Hölder smoothness, looped residual feedforward networks and a specified post-layer-normalized Transformer attain the minimax polynomial rate up to logarithmic factors with a fixed number of bounded real parameters. At sufficiently large fixed budgets, looped worst-case risk vanishes as sample size grows, whereas optimal worst-case untied risk remains bounded away from zero. Under specified growing-budget conditions, the loop-to-untied risk ratio also tends to zero. Gaussian and Laplace regression, binary response, and energy-based density estimation illustrate the theory.
• Abstract（参考訳）: 人工知能におけるメモリ需要の増加は、トレーニング可能なパラメータを少なくして学習を動機付ける。 繰り返し1つのパラメータを繰り返し適用するループ推定器が、共通のパラメータ予算の下で統計的精度を向上させることができるかどうかを問う。 従来のアンタイドは、各イテレーションで別々のパラメータを使用する。 一般の確率モデルでは、ループされたシーブ極大確率に対する正方形ヘリンジャーリスクの上界と、チューリングされたアンティード族上のミニマックス下限を確立する。 これらの境界はパラメータ-イテレーション-精度のトレードオフを明らかにしている: 繰り返し計算はパラメータを追加することなく近似を改善し、計算コストと適合クラスの複雑さを増大させる。 既知のヘルダーの滑らかさの標的として、ループ化された残差フィードフォワードネットワークと特定のポスト層正規化トランスフォーマーは、有界実パラメータの固定数の対数係数までの最小多項式速度を達成する。 十分に大きな固定予算では、サンプルサイズが大きくなるにつれてループした最悪のリスクは消滅するが、最適の最悪の不安定なリスクはゼロから切り離される。 特定の成長予算条件の下では、ループから未使用のリスク比もゼロになる傾向にある。 ガウスとラプラスの回帰、二分反応、エネルギーに基づく密度推定は、この理論を説明する。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)
• Orthogonal Statistical Learning [49.55515683387805]
  人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。 人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
  論文  参考訳（メタデータ） (2019-01-25T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。