論文の概要: A General Framework for Decision Trees via Bregman Divergences

• arxiv url: http://arxiv.org/abs/2606.13984v1
• Date: Fri, 12 Jun 2026 00:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.686632
• Title: A General Framework for Decision Trees via Bregman Divergences
• Title（参考訳）: Bregman Divergencesによる決定木のための一般的なフレームワーク
• Authors: Mathias Bourel,
• Abstract要約: 本稿では,Bregmanの発散に基づくCARTパラダイムの一般化を提案する。 ブレグマン発散は、二乗ユークリッド距離を自然に一般化する広い損失関数の族を与える。 本研究では, 子ノード間の不純物ゲイン(不純物ゲイン)に強い凸性や滑らかさなど, 生成凸関数の特性がどのように影響するかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees are one of the fundamental tools in statistical learning due to their interpretability, flexibility, and their ability to adapt to nonlinear structures. Among them, the Classification and Regression Trees, introduced by Breiman, Friedman, Olshen, and Stone in 1984, became one of the most influential algorithms and remains one of the most widely used methods for classification and regression problems. On the other hand, Bregman divergences, introduced by Lev Bregman in 1967 in the context of convex optimization, provide a broad family of loss functions that naturally generalize the squared Euclidean distance. This family includes, among others, the Kullback-Leibler divergence, the Poisson divergence, and the Itakura-Saito divergence, as well as several losses associated with distributions belonging to the exponential family. Moreover, Bregman divergences possess a rich geometric structure and deep connections with convex analysis and information geometry. In this work, we propose a generalization of the CART paradigm based on Bregman divergences, thereby obtaining a broader family of decision trees adapted to different statistical models and underlying geometries. Although algorithms such as CART or classical implementations such as rpart incorporate different impurity criteria, these are usually introduced in an ad hoc manner for each specific model. In contrast, the Bregman divergence approach provides a unified framework that allows these criteria to be derived and interpreted from common convex and geometric principles. Beyond the algorithmic construction, we also investigate theoretical properties of these trees. In particular, we study how properties of the generating convex function -- such as strong convexity or smoothness -- influence impurity gains between parent and child nodes, as well as stability and consistency properties of the estimator.
• Abstract（参考訳）: 決定木は、解釈可能性、柔軟性、非線形構造に適応する能力により、統計的学習の基本的な道具の1つである。 このうち、1984年にブレイマン、フリードマン、オルシェン、ストーンによって導入された分類と回帰木は最も影響力のあるアルゴリズムの1つとなり、分類と回帰問題の最も広く使われている方法の1つである。 一方、1967年にレフ・ブレグマンによって凸最適化の文脈で導入されたブレグマン発散は、二次ユークリッド距離を自然に一般化する広い損失函数の族を与える。 この科には、Kulback-Leiblerの発散、Poissonの発散、Itakura-Saitoの発散、指数族に属する分布に関連するいくつかの損失が含まれる。 さらに、ブレグマンの発散は豊富な幾何学構造を持ち、凸解析や情報幾何学と深いつながりを持っている。 本稿では,Bregman の発散に基づく CART パラダイムの一般化を提案する。 CARTのようなアルゴリズムやrpartのような古典的な実装は、異なる不純物基準を含んでいるが、これらは通常、特定のモデルごとにアドホックな方法で導入される。 対照的に、ブレグマンの発散アプローチは、これらの基準を共通の凸や幾何学的原理から導出し解釈できる統一的な枠組みを提供する。 アルゴリズム構築の他に、これらの木の理論的性質についても検討する。 特に, 強い凸性や滑らかさなどの凸関数の性質が, 親ノードと子ノード間の不純物ゲインや, 推定器の安定性と一貫性にどのように影響するかを検討する。

関連論文リスト

• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• SBAMDT: Bayesian Additive Decision Trees with Adaptive Soft Semi-multivariate Split Rules [7.324728751991983]
  ソフトスプリットルールを用いた確率的加法決定木モデルを提案する。 本稿では,合成データセットとニューヨーク市の教育データセットを用いた既存ツリーベースモデルとの比較により,提案モデルの有用性を実証する。
  論文  参考訳（メタデータ） (2025-01-17T01:13:44Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Statistical Advantages of Oblique Randomized Decision Trees and Forests [3.468886360466785]
  多次元モデルのフレキシブル関数クラスに対して一般化誤差境界と収束率を求める。 軸方向のモンドリアン木のリスクに対する低い境界が得られ、これらの推定子は一般リッジ関数に最適であることが証明された。
  論文  参考訳（メタデータ） (2024-07-02T17:35:22Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Large Scale Prediction with Decision Trees [9.917147243076645]
  本稿では,分類・回帰木(CART)とC4.5手法を用いて構築した決定木が,回帰・分類タスクに一貫性があることを示す。 この分析における重要なステップは、不平等の確立であり、不特定モデルの適合性と複雑性のトレードオフを正確に評価することができる。
  論文  参考訳（メタデータ） (2021-04-28T16:59:03Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。