論文の概要: Minimax Rates and Spectral Distillation for Tree Ensembles

• arxiv url: http://arxiv.org/abs/2605.11841v1
• Date: Tue, 12 May 2026 09:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.754043
• Title: Minimax Rates and Spectral Distillation for Tree Ensembles
• Title（参考訳）: 樹木アンサンブルのミニマックス速度とスペクトル蒸留
• Authors: Binh Duc Vu, David S. Watson,
• Abstract要約: ランダム・フォレスト(RF)やグラデーション・ブーピング・マシン(GBM)といったツリーアンサンブルは、最も広く使われている教師付き学習者の一つである。 これらのアルゴリズムにはスペクトル的視点が採用されており、主な貢献は2つである。 RF の場合、核作用素の先頭固有関数は支配的な予測方向を捉え、GBM の場合、スムーズな行列の先頭特異ベクトルは類似の役割を果たす。
• 参考スコア（独自算出の注目度）: 3.065243326333469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tree ensembles such as random forests (RFs) and gradient boosting machines (GBMs) are among the most widely used supervised learners, yet their theoretical properties remain incompletely understood. We adopt a spectral perspective on these algorithms, with two main contributions. First, we derive minimax-optimal convergence for RF regression, showing that, under mild regularity conditions on tree growth, the eigenvalue decay of the induced kernel operator governs the statistical rate. Second, we exploit this spectral viewpoint to develop compression schemes for tree ensembles. For RFs, leading eigenfunctions of the kernel operator capture the dominant predictive directions; for GBMs, leading singular vectors of the smoother matrix play an analogous role. Learning nonlinear maps for these spectral representations yields distilled models that are orders of magnitude smaller than the originals while maintaining competitive predictive performance. Our methods compare favorably to state of the art algorithms for forest pruning and rule extraction, with applications to resource constrained computing.
• Abstract（参考訳）: ランダム・フォレスト(RF)やグラデーション・ブーピング・マシン(GBM)のような樹木のアンサンブルは、最も広く使われている教師付き学習者であるが、その理論的性質はいまだに完全に理解されていない。 これらのアルゴリズムにはスペクトル的視点が採用されており、主な貢献は2つである。 まず,木の成長条件の緩やかな規則性条件下では,誘導された核作用素の固有値崩壊が統計率を支配することを示す。 第2に、このスペクトル的視点を利用して、木アンサンブルの圧縮スキームを開発する。 RF の場合、核作用素の先頭固有関数は支配的な予測方向を捉え、GBM の場合、スムーズな行列の先頭特異ベクトルは類似の役割を果たす。 これらのスペクトル表現に対する非線形写像の学習は、競争力のある予測性能を維持しながら、オリジナルよりも桁違いに小さい蒸留モデルが得られる。 本手法は,森林伐採とルール抽出の最先端アルゴリズムと,資源制約計算への応用に好適に比較できる。

関連論文リスト

• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Generalization Bounds for Magnitude-Based Pruning via Sparse Matrix Sketching [2.1485350418225244]
  我々は、エラーが1つ、プルーニングによって引き起こされる近似、および2つのプルーニングモデルにおけるパラメータの数に依存するAroraなどの上に構築する。 破断された推定値は、高い確率で未破断された関数に近づき、第一基準を改善する。 我々は,MNISTおよびCIFAR10データセット上のReLU活性化フィードフォワードネットワークにおける新しい手法の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-05-30T07:00:06Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training [2.9649783577150837]
  スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。 我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。 VGG/ResNetおよびImageNetデータセットのクレームを検証する。
  論文  参考訳（メタデータ） (2020-06-16T11:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。