論文の概要: A Stationary-Distribution Theory for Triplet-Based Plateau Search in Random Forest Ensemble-Size Selection
- arxiv url: http://arxiv.org/abs/2606.30837v1
- Date: Mon, 29 Jun 2026 19:12:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.989769
- Title: A Stationary-Distribution Theory for Triplet-Based Plateau Search in Random Forest Ensemble-Size Selection
- Title(参考訳): ランダム林のアンサンブルサイズ選択における三重項高原探索のための定常分布理論
- Authors: Andrey A. Dukhovny, Andrey M. Lange,
- Abstract要約: 台地に基づくチューニングは、木数を幾何学的に3倍にすることで、ランダムフォレストにおける木の数に適応する。
本稿では,本プロセスの定常分布理論について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The number of trees is a central computational parameter in Random Forests: increasing it reduces finite-ensemble variability but increases training and prediction cost. Plateau-based tuning adapts this parameter through local comparisons of out-of-bag scores at a geometric triplet of tree counts. After the remaining hyperparameters have stabilized, however, the central triplet point need not converge to a deterministic value; instead, it fluctuates around a stationary regime. This paper develops a stationary-distribution theory for this process. The central ensemble size $B_t$ is modeled as a birth-death Markov chain on a geometric grid, and its stationary distribution is derived through local balance. Under a leading centered folded-normal approximation, equilibrium equations are obtained for the original update rule and a symmetric modified variant, implying that the stationary center $B_*=O(\varepsilon^{-2})$ as $\varepsilon\downarrow 0$. The stationary spread is also characterized. A local Gaussian approximation and a Fokker-Planck interpretation give grid-level variance constants. After conversion to the ensemble-size scale, $σ_{B,*}=O(\varepsilon^{-2})$, while the variance is $O(\varepsilon^{-4})$. The leading relative spread is independent of $\varepsilon$ and controlled by the scale factor and update rule. These results interpret plateau-based Random Forest tuning as a stochastic process rather than a deterministic stopping rule.
- Abstract(参考訳): 木数はランダムフォレストの中心的な計算パラメータであり、有限アンサンブルの変動を減少させるが、トレーニングと予測コストを増大させる。
プラトーに基づくチューニングは、木数の幾何学的三重項におけるバッグ外スコアの局所的な比較を通じて、このパラメータに適応する。
しかし、残りのハイパーパラメータが安定化した後は、中央三重項点が決定論的値に収束する必要はない。
本稿では,本プロセスの定常分布理論について述べる。
中心アンサンブルサイズ$B_t$は、幾何学格子上の生死マルコフ連鎖としてモデル化され、その定常分布は局所的バランスによって導出される。
主中心の折り畳み正規近似の下では、平衡方程式は元の更新規則と対称な修正変量に対して得られ、これは定常中心の$B_*=O(\varepsilon^{-2})$が$\varepsilon\downarrow 0$であることを意味する。
定置スプレッドも特徴である。
局所ガウス近似とフォッカー・プランク解釈は格子レベルの分散定数を与える。
アンサンブルサイズスケールへの変換の後、$σ_{B,*}=O(\varepsilon^{-2})$、分散は$O(\varepsilon^{-4})$である。
主要な相対スプレッドは$\varepsilon$とは独立であり、スケールファクタと更新ルールによって制御される。
これらの結果は、決定論的停止規則ではなく、確率過程として台地に基づくランダムフォレストチューニングを解釈する。
関連論文リスト
- Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group [6.230579198456525]
等変エンコーダ$E$と等変予測器$f$から構築された潜在世界モデルは、トレーニング損失の証明可能な対称性を継承する。
このエンドツーエンドをラップトップスケール(CPU/MPS、完全シード)で検証する。
論文 参考訳(メタデータ) (2026-06-02T01:20:24Z) - Beyond Bounded Variance: Variance-Reduced Normalized Methods for Nonconvex Optimization under Blum-Gladyshev Noise [7.692336118507715]
我々は,Blum-Gladyshev(mathsfBG$-0)ノイズモデルの下での非線形最適化について検討した。
モーメント付き正規化勾配降下は、勾配毎のパラメータを1つだけ使い、複雑さが$O(varepsilon-6)$で$mathsfBG$-0ノイズの下に収束することを示す。
論文 参考訳(メタデータ) (2026-05-14T18:27:49Z) - Anisotropic local law for non-separable sample covariance matrices [10.181748307494608]
サンプル共分散行列の局所法則を$K = N-1sum_i=1N g_ig_ig_i*$ とすると、Rn$ の確率ベクトル $g_1, ldots, g_N は共通共分散$$と独立である。
我々は,条件付き平均ゼロ分布,ランダム特徴モデル$g = (Xw)$,ガウス測度など,我々の仮定を満たす非分離例のクラスについて論じる。
論文 参考訳(メタデータ) (2026-02-20T03:28:51Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳(メタデータ) (2025-06-30T13:27:39Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳(メタデータ) (2022-11-03T14:41:46Z) - Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
制約付き非線形最適化問題のオンライン統計的推測を考察する。
これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
論文 参考訳(メタデータ) (2022-05-27T00:34:03Z) - The distribution of localization measures of chaotic eigenstates in the
stadium billiard [0.0]
ローカライゼーションはポアンカー・フシミ表現における局所化されたカオス固有状態の$A$を測る。
標準偏差$sigma$ on $alpha$とスペクトルパラメータ$beta$の依存性を分析する。
論文 参考訳(メタデータ) (2021-04-18T17:30:06Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳(メタデータ) (2021-01-29T18:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。