論文の概要: Learning Accurate Decision Trees with Bandit Feedback via Quantized
Gradient Descent
- arxiv url: http://arxiv.org/abs/2102.07567v1
- Date: Mon, 15 Feb 2021 14:10:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:35:06.206263
- Title: Learning Accurate Decision Trees with Bandit Feedback via Quantized
Gradient Descent
- Title（参考訳）: 量子化勾配降下によるバンディットフィードバックを用いた高精度決定木学習
- Authors: Ajaykrishna Karthikeyan, Naman Jain, Nagarajan Natarajan, Prateek Jain
- Abstract要約: 決定木は非常に非線形で効率的なモデルの豊かな家族を提供します。
しかし、ツリーの学習は、非常に離散的で差別化できない決定境界のために難しい問題です。
より条件のよい勾配を与える木学習問題の定式化を提案する。
- 参考スコア（独自算出の注目度）: 18.7724096545556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision trees provide a rich family of highly non-linear but efficient
models, due to which they continue to be the go-to family of predictive models
by practitioners across domains. But learning trees is a challenging problem
due to their highly discrete and non-differentiable decision boundaries. The
state-of-the-art techniques use greedy methods that exploit the discrete tree
structure but are tailored to specific problem settings (say, categorical vs
real-valued predictions). In this work, we propose a reformulation of the tree
learning problem that provides better conditioned gradients, and leverages
successful deep network learning techniques like overparameterization and
straight-through estimators. Our reformulation admits an efficient and {\em
accurate} gradient-based algorithm that allows us to deploy our solution in
disparate tree learning settings like supervised batch learning and online
bandit feedback based learning.
Using extensive validation on standard benchmarks, we observe that in the
supervised learning setting, our general method is competitive to, and in some
cases more accurate than, existing methods that are designed {\em specifically}
for the supervised settings. In contrast, for bandit settings, where most of
the existing techniques are not applicable, our models are still accurate and
significantly outperform the applicable state-of-the-art methods.
- Abstract（参考訳）: 決定木は、非常に非線形だが効率的なモデルの豊かな家族を提供します。
しかし、ツリーの学習は、非常に離散的で差別化できない決定境界のために難しい問題です。
最先端の技術は、離散的な木構造を利用するが、特定の問題設定(例えば、カテゴリーと実数値の予測)に合わせて調整される、欲張りな手法を用いる。
本研究では,より条件付き勾配を提供する木学習問題の修正を提案し,オーバーパラメータ化やストレートスルー推定などの深層ネットワーク学習技術を活用している。
私たちの改革は,教師付きバッチ学習やオンラインバンディットフィードバックベースの学習といった,異なるツリー学習設定でソリューションを展開可能な,効率的かつ高精度な勾配ベースのアルゴリズムを認めています。
標準ベンチマークの広範な検証を使用して、教師付き学習設定において、私たちの一般的な方法は、監督された設定のために設計されている既存の方法よりも競争力があり、場合によってはより正確であることがわかります。
対照的に、既存の手法の大半が適用できないバンディット設定では、我々のモデルは依然として正確であり、適用可能な最先端手法よりも大幅に優れています。
関連論文リスト
- Optimizing Interpretable Decision Tree Policies for Reinforcement Learning [10.68128849363198]
決定木は、その固有の解釈可能性について教師あり学習において注目を集めている。
本稿では、強化学習環境におけるニューラルネットワークを置き換えるために、解釈可能な決定木ポリシーを最適化する問題を考察する。
論文 参考訳（メタデータ） (2024-08-21T14:04:00Z) - Learning accurate and interpretable decision trees [27.203303726977616]
我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。
本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。
また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
論文 参考訳（メタデータ） (2024-05-24T20:10:10Z) - Blending gradient boosted trees and neural networks for point and
probabilistic forecasting of hierarchical time series [0.0]
本稿では、勾配木やニューラルネットワークファミリーに属する機械学習モデルのブレンディング手法について述べる。
これらの原則は、最近のM5コンペティションにおいて、正確性と不確実性の両方のトラックでうまく適用された。
論文 参考訳（メタデータ） (2023-10-19T09:42:02Z) - Optimal Decision Diagrams for Classification [68.72078059880018]
数学的プログラミングの観点から最適決定図の学習について検討する。
本稿では,新しい混合整数線形プログラミングモデルを提案する。
このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
論文 参考訳（メタデータ） (2022-05-28T18:31:23Z) - Automated Decision-based Adversarial Attacks [48.01183253407982]
我々は、実用的で挑戦的な意思決定ベースのブラックボックスの敵意設定を考える。
この設定では、攻撃者はターゲットモデルに問い合わせるだけで最終分類ラベルを取得できる。
意思決定に基づく攻撃アルゴリズムを自動的に発見する。
論文 参考訳（メタデータ） (2021-05-09T13:15:10Z) - An Approach to Evaluating Learning Algorithms for Decision Trees [3.7798600249187295]
低あるいは未知の学習能力アルゴリズムは、生成したソフトウェアモデルを信頼できない。
決定木に対する学習アルゴリズム(学習能力)を評価するための,新しいオラクル中心のアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-26T15:36:59Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳（メタデータ） (2020-08-21T10:45:25Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-06-09T07:22:01Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳（メタデータ） (2020-02-20T11:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。