論文の概要: Statistical Gains from Looped Estimation under Parameter Budgets

• arxiv url: http://arxiv.org/abs/2609.25778v2
• Date: Sun, 27 Sep 2026 08:40:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.635122
• Title: Statistical Gains from Looped Estimation under Parameter Budgets
• Title（参考訳）: パラメータ予算に基づくループ推定による統計的ゲイン
• Abstract要約: 人工知能におけるメモリ制約は、より少ないパラメータで正確な関数近似を動機付ける。 共有パラメータを持つ1つの更新関数を繰り返し構成するループについて検討する。 我々は,そのパラメータ要求を,与えられた最悪の場合の近似精度,あるいは同等に,共通の予算下での近似精度と比較する。
• 参考スコア（独自算出の注目度）: 11.857867207010981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory constraints in artificial intelligence motivate accurate function approximation with fewer parameters. We study looping, which repeatedly composes one update function with shared parameters; each output becomes the next input. A looped Transformer, for example, reuses one block, whereas its conventional untied counterpart uses separately parameterized blocks. We compare their parameter requirements for a given worst-case approximation accuracy, or equivalently, their approximation accuracy under a common budget limiting distinct trainable coefficients. We then ask whether this representational parsimony improves statistical accuracy. For general likelihood models, we establish an upper squared Hellinger risk bound for looped sieve maximum likelihood and a minimax lower bound for the jointly tuned untied family. Further loop iterations improve the approximation bound without adding parameters, while increasing computation and the fitted-class complexity bound. For targets of known Hölder smoothness, looped residual feedforward networks and post-layer-normalized Transformers attain the minimax polynomial rate up to logarithmic factors with a fixed number of bounded real parameters. At sufficiently large fixed budgets, looped worst-case risk vanishes while optimal worst-case untied risk remains bounded away from zero. The loop-to-untied risk ratio also tends to zero under specified growing-budget conditions. Regression, binary response, and energy-based generative models illustrate the theory.
• Abstract（参考訳）: 人工知能におけるメモリ制約は、より少ないパラメータで正確な関数近似を動機付ける。 本稿では,共有パラメータを持つ1つの更新関数を繰り返し生成するループについて検討し,各出力が次の入力となる。 例えばループ変換器は1つのブロックを再利用するが、従来の未処理の変換器は別個のパラメータ化ブロックを使用する。 我々は、与えられた最悪の場合の近似精度のパラメータ要求を、異なる訓練可能な係数を制限する共通の予算の下で比較する。 そして、この表現のパーシモニーが統計的精度を向上させるかどうかを問う。 一般の確率モデルでは、ループされたシーブ最大確率に対して上方形ヘリンジャーリスクバウンドと、共同調整されたアンティード族に対するミニマックス低いバウンドとが成立する。 さらにループ反復はパラメータを追加することなく近似を改良し、計算量を増やし、適合クラスの複雑性を制限した。 既知のヘルダーの滑らかさの標的として、ループ化された残差フィードフォワードネットワークとポスト層正規化トランスフォーマーは、有界実パラメータの固定数の対数係数まで最小の多項式速度を達成する。 十分に大きな固定予算では、ループした最悪のリスクは消滅するが、最適の最悪の不安定なリスクはゼロから切り離される。 ループから未使用のリスク比も、特定の成長予算条件下でゼロになる傾向にある。 回帰、二項反応、エネルギーに基づく生成モデルは、この理論を説明する。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)
• Orthogonal Statistical Learning [49.55515683387805]
  人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。 人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
  論文  参考訳（メタデータ） (2019-01-25T02:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。