論文の概要: Learning Tree-Based Models with Gradient Descent

• arxiv url: http://arxiv.org/abs/2603.11117v1
• Date: Wed, 11 Mar 2026 13:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.523913
• Title: Learning Tree-Based Models with Gradient Descent
• Title（参考訳）: グラディエントDescentを用いた木モデル学習
• Authors: Sascha Marton,
• Abstract要約: ツリーベースモデルは解釈可能性で広く認識されており、様々なアプリケーション領域で有効であることが証明されている。 強欲な探索手順に依存するCARTのような伝統的な手法は、現在でも最も広く使われているアプローチである。 そこで本論文では,勾配降下による硬度軸方向のDTを学習するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 4.272652712282259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tree-based models are widely recognized for their interpretability and have proven effective in various application domains, particularly in high-stakes domains. However, learning decision trees (DTs) poses a significant challenge due to their combinatorial complexity and discrete, non-differentiable nature. As a result, traditional methods such as CART, which rely on greedy search procedures, remain the most widely used approaches. These methods make locally optimal decisions at each node, constraining the search space and often leading to suboptimal tree structures. Additionally, their demand for custom training methods precludes a seamless integration into modern machine learning (ML) approaches. In this thesis, we propose a novel method for learning hard, axis-aligned DTs through gradient descent. Our approach utilizes backpropagation with a straight-through operator on a dense DT representation, enabling the joint optimization of all tree parameters, thereby addressing the two primary limitations of traditional DT algorithms. First, gradient-based training is not constrained by the sequential selection of locally optimal splits but, instead, jointly optimizes all tree parameters. Second, by leveraging gradient descent for optimization, our approach seamlessly integrates into existing ML approaches e.g., for multimodal and reinforcement learning tasks, which inherently rely on gradient descent. These advancements allow us to achieve state-of-the-art results across multiple domains, including interpretable DTs rees for small tabular datasets, advanced models for complex tabular data, multimodal learning, and interpretable reinforcement learning without information loss. By bridging the gap between DTs and gradient-based optimization, our method significantly enhances the performance and applicability of tree-based models across various ML domains.
• Abstract（参考訳）: 木に基づくモデルは解釈可能性で広く認識されており、様々なアプリケーションドメイン、特に高い領域で有効であることが証明されている。 しかし、決定木(DT)の学習は、その組み合わせの複雑さと、離散的で微分不可能な性質のために大きな課題を生んでいる。 結果として、難解な探索手順を頼りにしているCARTのような伝統的な手法は、依然として最も広く使われている手法である。 これらの手法は各ノードで局所的に最適な決定を行い、探索空間を制約し、しばしば最適木構造へと導く。 さらに、カスタムトレーニングメソッドの需要は、現代的な機械学習(ML)アプローチへのシームレスな統合を妨げる。 そこで本論文では,勾配降下による硬度軸方向のDTを学習するための新しい手法を提案する。 提案手法は, 直進演算子による高密度DT表現のバックプロパゲーションを利用して, 従来のDTアルゴリズムの2つの主要な制約に対処する。 まず、勾配に基づくトレーニングは、局所最適分割の逐次選択によって制約されず、代わりに、すべての木パラメータを共同で最適化する。 第2に,勾配降下を最適化に活用することにより,勾配降下を本質的に依存するマルチモーダルおよび強化学習タスクにおいて,既存のMLアプローチにシームレスに統合する。 これらの進歩により、小さな表形式のデータセットに対する解釈可能なDTrees、複雑な表形式のデータのための高度なモデル、マルチモーダル学習、情報損失のない解釈可能な強化学習など、複数の領域にわたる最先端の成果が得られる。 DTと勾配に基づく最適化のギャップを埋めることにより,本手法は各種ML領域における木モデルの性能と適用性を大幅に向上させる。

関連論文リスト

• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• A novel gradient-based method for decision trees optimizing arbitrary differential loss functions [2.4861619769660637]
  本研究では、任意の微分可微分損失関数を最適化する勾配に基づく決定木を構築する新しい手法を提案する。 本手法の分類・回帰・生存分析への適用性を示す。 この方法の実装は公開されており、研究者や実践者に実用的なツールを提供している。
  論文  参考訳（メタデータ） (2025-03-22T20:25:30Z)
• GRANDE: Gradient-Based Decision Tree Ensembles for Tabular Data [9.107782510356989]
  そこで本研究では,エンドツーエンドの勾配勾配勾配を用いた軸方向決定木アンサンブルの学習手法を提案する。 Grandeはツリーアンサンブルの密度の高い表現に基づいており、ストレートスルー演算子でバックプロパゲーションを使用することができる。 提案手法は,ほとんどのデータセットにおいて,既存の勾配ブースティングおよびディープラーニングフレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T10:49:14Z)
• GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent [10.27211960475599]
  決定木(DT)は多くの機械学習タスクで一般的に使われている。 本稿では,greedyアルゴリズムを用いた新しいDT学習手法を提案する。 直進演算子と直進演算子を高密度DT表現とし,すべての木パラメータを協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T13:24:35Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。