論文の概要: Learning Accurate Decision Trees with Bandit Feedback via Quantized Gradient Descent

• arxiv url: http://arxiv.org/abs/2102.07567v1
• Date: Mon, 15 Feb 2021 14:10:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:35:06.206263
• Title: Learning Accurate Decision Trees with Bandit Feedback via Quantized Gradient Descent
• Title（参考訳）: 量子化勾配降下によるバンディットフィードバックを用いた高精度決定木学習
• Authors: Ajaykrishna Karthikeyan, Naman Jain, Nagarajan Natarajan, Prateek Jain
• Abstract要約: 決定木は非常に非線形で効率的なモデルの豊かな家族を提供します。 しかし、ツリーの学習は、非常に離散的で差別化できない決定境界のために難しい問題です。 より条件のよい勾配を与える木学習問題の定式化を提案する。
• 参考スコア（独自算出の注目度）: 18.7724096545556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees provide a rich family of highly non-linear but efficient models, due to which they continue to be the go-to family of predictive models by practitioners across domains. But learning trees is a challenging problem due to their highly discrete and non-differentiable decision boundaries. The state-of-the-art techniques use greedy methods that exploit the discrete tree structure but are tailored to specific problem settings (say, categorical vs real-valued predictions). In this work, we propose a reformulation of the tree learning problem that provides better conditioned gradients, and leverages successful deep network learning techniques like overparameterization and straight-through estimators. Our reformulation admits an efficient and {\em accurate} gradient-based algorithm that allows us to deploy our solution in disparate tree learning settings like supervised batch learning and online bandit feedback based learning. Using extensive validation on standard benchmarks, we observe that in the supervised learning setting, our general method is competitive to, and in some cases more accurate than, existing methods that are designed {\em specifically} for the supervised settings. In contrast, for bandit settings, where most of the existing techniques are not applicable, our models are still accurate and significantly outperform the applicable state-of-the-art methods.
• Abstract（参考訳）: 決定木は、非常に非線形だが効率的なモデルの豊かな家族を提供します。 しかし、ツリーの学習は、非常に離散的で差別化できない決定境界のために難しい問題です。 最先端の技術は、離散的な木構造を利用するが、特定の問題設定(例えば、カテゴリーと実数値の予測)に合わせて調整される、欲張りな手法を用いる。 本研究では,より条件付き勾配を提供する木学習問題の修正を提案し,オーバーパラメータ化やストレートスルー推定などの深層ネットワーク学習技術を活用している。 私たちの改革は,教師付きバッチ学習やオンラインバンディットフィードバックベースの学習といった,異なるツリー学習設定でソリューションを展開可能な,効率的かつ高精度な勾配ベースのアルゴリズムを認めています。 標準ベンチマークの広範な検証を使用して、教師付き学習設定において、私たちの一般的な方法は、監督された設定のために設計されている既存の方法よりも競争力があり、場合によってはより正確であることがわかります。 対照的に、既存の手法の大半が適用できないバンディット設定では、我々のモデルは依然として正確であり、適用可能な最先端手法よりも大幅に優れています。

関連論文リスト

• Optimal Decision Diagrams for Classification [68.72078059880018]
  数学的プログラミングの観点から最適決定図の学習について検討する。 本稿では,新しい混合整数線形プログラミングモデルを提案する。 このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
  論文  参考訳（メタデータ） (2022-05-28T18:31:23Z)
• Optimal randomized classification trees [0.0]
  分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。 CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。 この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
  論文  参考訳（メタデータ） (2021-10-19T11:41:12Z)
• Automated Decision-based Adversarial Attacks [48.01183253407982]
  我々は、実用的で挑戦的な意思決定ベースのブラックボックスの敵意設定を考える。 この設定では、攻撃者はターゲットモデルに問い合わせるだけで最終分類ラベルを取得できる。 意思決定に基づく攻撃アルゴリズムを自動的に発見する。
  論文  参考訳（メタデータ） (2021-05-09T13:15:10Z)
• An Approach to Evaluating Learning Algorithms for Decision Trees [3.7798600249187295]
  低あるいは未知の学習能力アルゴリズムは、生成したソフトウェアモデルを信頼できない。 決定木に対する学習アルゴリズム(学習能力)を評価するための,新しいオラクル中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-26T15:36:59Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Learning to Stop While Learning to Predict [85.7136203122784]
  多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。 アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。 本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。 学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-06-09T07:22:01Z)
• Sparsity in Optimal Randomized Classification Trees [3.441021278275805]
  斜め切断に基づく疎い最適分類木を構築するための連続最適化手法を提案する。 空間性、すなわち局所性と大域性は、多面体ノルムの正規化によってモデル化される。 グリーディーアプローチと異なり、我々の分類精度の一部で容易に取引できる能力は、グローバル・スパシティーの獲得に寄与する。
  論文  参考訳（メタデータ） (2020-02-21T09:09:59Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。