論文の概要: Double Descent in Gradient Boosting Decision Trees via Split-Candidate Scaling

• arxiv url: http://arxiv.org/abs/2608.03111v1
• Date: Tue, 04 Aug 2026 04:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.03358
• Title: Double Descent in Gradient Boosting Decision Trees via Split-Candidate Scaling
• Title（参考訳）: スプリット・キャンディネート・スケーリングによる直交ブースティング決定木の二重発色
• Abstract要約: 決定木(GBDT)を増強するための操作能力パラメータとして分割候補数を提案する。 実験的な木-カーネル診断を構築し、候補誘導経路がどのようにトレーニング例をグループ化するかを要約する。 実験では、XGBoost、LightGBM、CatBoostの中間分割候補予算におけるテストエラーピークが示されている。
• 参考スコア（独自算出の注目度）: 8.629912408966147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Double descent is commonly studied by scaling an explicit capacity parameter, such as neural-network width. For gradient boosting decision trees (GBDTs), however, an analogous single-axis capacity parameter has not been established. We propose the number of split candidates as an operational capacity parameter for GBDTs. Holding other training controls fixed, increasing the split-candidate budget refines the feature-quantization grid and expands the dictionary of root-to-leaf paths from which boosting selects its updates. To analyze this expansion, we construct an empirical tree-kernel diagnostic that summarizes how candidate-induced paths group the training examples. A regime in which the empirical kernel rank grows toward the sample size and very small positive eigenvalues emerge exposes noise-sensitive directions; in this regime, test error peaks before decreasing again at larger split-candidate budgets. This perspective predicts that deeper trees should reach the regime with fewer split candidates, larger training sets should require finer grids, and label noise should make the peak more pronounced. Experiments support these predictions and show test-error peaks at intermediate split-candidate budgets across XGBoost, LightGBM, and CatBoost, whereas a random-forest control improves monotonically under the same split-candidate sweep. Taken together, our analysis and experiments support split-candidate scaling as a single-axis capacity intervention for studying GBDTs and suggest that the observed double descent arises from an interaction between candidate-induced geometry and boosting dynamics.
• Abstract（参考訳）: 二重降下は、神経ネットワーク幅のような明示的な容量パラメータをスケーリングすることでよく研究される。 しかし, 勾配向上決定木 (GBDT) については, 同様の単一軸容量パラメータが確立されていない。 GBDTの運用容量パラメータとして分割候補数を提案する。 他のトレーニングコントロールを固定し、分割候補の予算を増やすことで、特徴量化グリッドが洗練され、ルート・ツー・リーフパスの辞書が拡張され、更新が強化される。 この拡張を解析するために,候補誘導経路がどのようにトレーニング例をグループ化するかを要約した経験的ツリーカーネル診断を構築した。 経験的カーネルランクがサンプルサイズに向かって増大し、非常に小さな正の固有値が現れるレジームでは、ノイズ感受性の方向が明らかになり、このレジームでは、より大きな分割候補予算で再び減少する前に、エラーピークがテストされる。 この観点では、より深い木はより少ない分割候補で政権に到達し、より大きなトレーニングセットはより細い格子を必要とし、ラベルノイズによりピークがより顕著になる。 実験はこれらの予測をサポートし、XGBoost、LightGBM、CatBoostの中間スプリット候補予算でテストエラーピークを示す。 本研究は,GBDTの1軸キャパシティ介入としてスプリット・カンジネート・スケーリングを支持した。

関連論文リスト

• Adaptive Multi-Branching for Shallow Decision Tree Induction [1.7872360768760054]
  Adaptive Pruning (MBNDT) を用いた多枝神経決定木 MBNDTは、異なるマルチウェイ分割が可能な、単一の軸整列木で訓練されたエンドツーエンドである。 奥行き制約のある単木ベースラインの中で、最高の平均ランクと平均平衡精度を達成する。
  論文  参考訳（メタデータ） (2026-08-29T13:35:04Z)
• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
  我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。 SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-15T07:26:54Z)
• LoBoost: Fast Model-Native Local Conformal Prediction for Gradient-Boosted Trees [3.4988194836573894]
  LoBoostは、マルチスケールキャリブレーショングループを定義するために、アンサンブルの葉構造を再利用するモデルネイティブな局所共形法である。 実験では、競合するインターバル品質、ほとんどのデータセットでのテストMSEの改善、大きなキャリブレーションスピードアップが示されている。
  論文  参考訳（メタデータ） (2026-02-25T21:44:19Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Uncertainty-Aware Extrapolation in Bayesian Oblique Trees [0.8602553195689513]
  適度に一貫性のある葉の予測は、トレーニング対象によって境界付けられ、しばしば分布シフトの下で過信される。 本稿では,各葉にGP予測器を装着することにより,VSPYCTを拡張した単木ベイズモデルを提案する。
  論文  参考訳（メタデータ） (2026-01-30T12:19:17Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Decision Tree Embedding by Leaf-Means [11.318593165494724]
  決定木埋め込み(Decision Tree Embedding, DTE)は、訓練された分類木の葉の分割を利用して解釈可能な特徴表現を構築する、迅速かつ効果的な方法である。 各葉領域内のサンプル手段をアンカーポイントとして使用することにより、DTEは木の分割構造によって定義された埋め込み空間に入力をマップする。 軽度条件下での条件密度の保存を含む,DTEの個体群レベルの理論的特性を確立した。
  論文  参考訳（メタデータ） (2025-12-01T15:57:33Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• Adaptive Discretization using Voronoi Trees for Continuous POMDPs [7.713622698801596]
  我々は,Voronoi Trees (ADVT) を用いた適応離散化(Adaptive Discretization)と呼ばれる新しいサンプリングベースのオンラインPOMDPソルバを提案する。 モンテカルロ木探索と、作用空間の適応的な離散化と、楽観的な最適化を組み合わせて、高次元連続作用空間を効率的にサンプリングする。 ADVTは、最先端の手法と比較して、高次元の連続的な作用空間よりもかなり良くスケールする。
  論文  参考訳（メタデータ） (2023-02-21T04:47:34Z)
• Adaptive Discretization using Voronoi Trees for Continuous-Action POMDPs [7.713622698801596]
  我々は,Voronoi Trees (ADVT) を用いた適応離散化(Adaptive Discretization)と呼ばれる新しいサンプリングベースのオンラインPOMDPソルバを提案する。 ADVTはモンテカルロ木探索とアクション空間の適応的な離散化と楽観的な最適化を併用する。 4種類のベンチマーク問題のシミュレーション実験により、ADVTは高次元連続行動空間よりも優れ、スケールがかなり優れていることが示されている。
  論文  参考訳（メタデータ） (2022-09-13T05:04:49Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。