論文の概要: Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression

• arxiv url: http://arxiv.org/abs/2606.23575v1
• Date: Mon, 22 Jun 2026 16:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 18:09:47.352713
• Title: Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression
• Title（参考訳）: ハイパーパラメータの解法, 探索をスキップする: Kolmogorov-Optimal Scaling Laws for Spline Regression
• Authors: Yong Yi Bay, Kathleen A. Yearick,
• Abstract要約: クローズドな形での最適解法は、徹底的な探索が到達した精度を計算のごく一部で解くことができる。 KOREは2つのパイロット解像度に適合し、バイアスとノイズスケールのレバレッジ校正された2x2システムを解く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameter tuning almost always means search: fit the model at every value on a grid, score each by cross-validation, and keep the winner. For spline regression that search is unnecessary. The optimal resolution can be solved for in closed form, to the accuracy an exhaustive search reaches, at a fraction of the compute. Three ingredients make this possible: classical approximation theory pins the squared bias to a known power of the resolution G, exactly the Kolmogorov n-width of the smoothness class; the basis dimension is an explicit polynomial in G; and leave-one-out error follows from a single fit via the PRESS identity. Balancing the two known curves gives the minimizer analytically. We extend this calculus to many coordinates by replacing ambient input dimension with interaction order, the number of active low-order components in an ANOVA decomposition, yielding a scaling law in which the optimal resolution and error are power functions of the effective density (sample size per active component), with input dimension absent from the exponent. The law becomes an algorithm. KORE (Kolmogorov-optimal Order-aware Resolution Estimation) fits two pilot resolutions, solves a leverage-calibrated 2x2 system for the bias and noise scales, and evaluates the closed-form plug-in resolution with a tiny leave-one-out certificate: about a dozen fits instead of a full grid sweep, with a consistency guarantee as the sample grows. Across additive and sparse pairwise targets up to 80 input dimensions, KORE matches exhaustive 3-fold cross-validation and the full classical ladder (GCV, Mallows' Cp, AIC, BIC) while fitting roughly 8x fewer models; on 36 real tabular datasets it ranks first among 21 methods in accuracy per unit of compute, ahead of tuned boosters and kernel machines. When complexity lives in low interaction order, solving for the resolution beats searching for it.
• Abstract（参考訳）: ハイパーパラメータチューニングは、ほとんどの場合、検索を意味する: グリッド上のすべての値にモデルを適合させ、それぞれをクロスバリデーションでスコアし、勝者を維持する。 スプライン回帰の場合、検索は不要である。 最適解法は、全探索が到達した精度を計算のごく一部で、クローズドな形で解くことができる。 古典近似理論は、解 G の既知のパワー、正確には滑らか性クラスのコルモゴロフ n-幅に二乗バイアスを固定し、基底次元は G の明示多項式であり、残余誤差は、press 恒等式(英語版)を介して単一のフィットから従う。 2つの既知の曲線のバランシングは、解析的に最小値を与える。 我々は、この計算を、周囲の入力次元を相互作用順序に置き換え、ANOVA分解におけるアクティブな低次成分の数を減らし、最適な解像度と誤差が有効密度(アクティブ成分あたりのサンプルサイズ)のパワー関数となるスケーリング法則を導出し、入力次元を指数から欠くことで、多くの座標に拡張する。 法則はアルゴリズムとなる。 KORE (Kolmogorov-Optimal Order-aware Resolution Estimation) は、2つのパイロット解像度に適合し、バイアスとノイズスケールのレバレッジ校正された2x2システムを解き、クローズドフォームのプラグイン解像度を小さなLet-out証明書で評価する。 加算とスパースを合わせて最大80の入力次元を目標とし、KOREは最大3倍のクロスバリデーション(GCV、Mallows' Cp、AIC、BIC)と全古典的なラグ(GCV、Mallows' Cp、AIC、BIC)をほぼ8倍のモデルに適合させる。 複雑さが低い相互作用の順序で存在する場合、解決の解決はそれを探すのに勝る。

関連論文リスト

• Preference-Shaped Expected Hypervolume and R2 Improvement: Exact Computation and Monotonicity [0.0]
  同様の目的によく使用される指標群を2つ検討するが、幾何的に異なる。 ハイパーボリュームインジケータは、ディストピア基準点に基づいて、客観空間において支配的なボリュームを測定する。 R2インジケータはユートピア点に基づいて、重み付けされたチェビシェフスカラー化エンベロープによる近似集合を評価する。
  論文  参考訳（メタデータ） (2026-05-27T17:02:28Z)
• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• Optimal Transportation and Alignment Between Gaussian Measures [80.4634530260329]
  最適なトランスポート(OT)とGromov-Wasserstein(GW)アライメントは、データセットの解釈可能な幾何学的フレームワークを提供する。 これらのフレームワークは計算コストが高いため、大規模アプリケーションは2次コストでガウス分布の閉形式解に依存することが多い。 この研究は、ガウス的、二次的コスト OT と内部積 GW (IGW) のアライメントを包括的に扱い、文学におけるいくつかのギャップを埋めて適用性を広げる。
  論文  参考訳（メタデータ） (2025-12-03T09:01:48Z)
• $\ell_0$-Regularized Quadratic Surface Support Vector Machines [0.0]
  カーネルフリーの二次曲面支持ベクトルマシンは、カーネル関数に依存することなく非線形決定境界をモデル化する柔軟性により、近年注目を集めている。 本稿では,モデルパラメータに濃度制約を課すことにより,QSVMのスパース変種を提案する。 我々は,いくつかの実世界のデータセットに対するアプローチを検証し,高い分類性能を維持しながらオーバーフィッティングを低減できることを実証した。
  論文  参考訳（メタデータ） (2025-01-20T04:26:34Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• Sliced gradient-enhanced Kriging for high-dimensional function approximation [2.8228516010000617]
  Gradient-enhanced Kriging (GE-Kriging)は、高価な計算モデルを近似するために確立されたサロゲートモデリング技術である。 固有相関行列のサイズのため、高次元問題に対して実用的でない傾向にある。 SGE-Kriging (Sliced GE-Kriging, SGE-Kriging) と呼ばれる新しい手法を開発し, 相関行列のサイズを小さくする。 その結果,SGE-Krigingモデルでは,標準モデルに匹敵する精度と堅牢性を特徴とするが,トレーニングコストの低減が図られた。
  論文  参考訳（メタデータ） (2022-04-05T07:27:14Z)
• Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
  QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。 平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。 BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-02T16:26:20Z)
• Canny-VO: Visual Odometry with RGB-D Cameras based on Geometric 3D-2D Edge Alignment [85.32080531133799]
  本稿では,自由形式の曲線登録に関する古典的な問題をレビューし,効率的なrgbdビジュアルオドメトリシステムcanny-voに適用する。 エッジ登録でよく用いられる距離変換の代替として、近似近接近傍場と配向近接近傍場という2つの方法が提案されている。 3D2Dエッジアライメントは、効率性と精度の両方の観点から、これらの代替製剤の恩恵を受けます。
  論文  参考訳（メタデータ） (2020-12-15T11:42:17Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。