論文の概要: Model family selection for classification using Neural Decision Trees
- arxiv url: http://arxiv.org/abs/2006.11458v1
- Date: Sat, 20 Jun 2020 01:27:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 22:00:52.559475
- Title: Model family selection for classification using Neural Decision Trees
- Title（参考訳）: ニューラル決定木を用いた分類のためのモデル家族選択
- Authors: Anthea M\'erida Montes de Oca, Argyris Kalogeratos, Mathilde Mougeot
- Abstract要約: 本稿では,タスクに必要な探索範囲を削減する手法を提案する。
その考え方は、厳格な決定境界を持つ特定のファミリー、参照モデル(RM)の訓練されたインスタンスから、どのくらいの費用を逸脱する必要があるかの定量化である。
- 参考スコア（独自算出の注目度）: 4.286327408435937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model selection consists in comparing several candidate models according to a
metric to be optimized. The process often involves a grid search, or such, and
cross-validation, which can be time consuming, as well as not providing much
information about the dataset itself. In this paper we propose a method to
reduce the scope of exploration needed for the task. The idea is to quantify
how much it would be necessary to depart from trained instances of a given
family, reference models (RMs) carrying `rigid' decision boundaries (e.g.
decision trees), so as to obtain an equivalent or better model. In our
approach, this is realized by progressively relaxing the decision boundaries of
the initial decision trees (the RMs) as long as this is beneficial in terms of
performance measured on an analyzed dataset. More specifically, this relaxation
is performed by making use of a neural decision tree, which is a neural network
built from DTs. The final model produced by our method carries non-linear
decision boundaries. Measuring the performance of the final model, and its
agreement to its seeding RM can help the user to figure out on which family of
models he should focus on.
- Abstract（参考訳）: モデル選択は、最適化されるメトリックに従って複数の候補モデルを比較することで構成される。
このプロセスにはグリッド検索やクロスバリデーションなどが含まれており、データセット自体に関する十分な情報を提供していないだけでなく、時間を要する可能性がある。
本稿では,タスクに必要な探索範囲を削減する手法を提案する。
この考え方は、「厳格な」決定境界(例えば、決定木)を持つ参照モデル(RM)を与えられたファミリーの訓練されたインスタンスからどのくらい離れて、同等またはより良いモデルを得る必要があるかを定量化することである。
提案手法では,解析されたデータセットで測定した性能の面で有益である限り,初期決定木(RM)の決定境界を徐々に緩和することで実現している。
より具体的には、この緩和はdtsで構築されたニューラルネットワークであるneural decision treeを使用して行われる。
本手法による最終モデルは非線形決定境界を持つ。
最終的なモデルのパフォーマンスを測定することと、シードしたrmとの合意は、ユーザがどのモデルにフォーカスすべきかを理解するのに役立ちます。
関連論文リスト
- Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - Learning accurate and interpretable decision trees [27.203303726977616]
我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。
本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。
また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
論文 参考訳（メタデータ） (2024-05-24T20:10:10Z) - Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。
L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。
我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
論文 参考訳（メタデータ） (2023-12-07T03:55:51Z) - Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。
孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
論文 参考訳（メタデータ） (2023-09-29T19:55:56Z) - Improving Group Lasso for high-dimensional categorical data [0.90238471756546]
群ラッソ(英: Group Lasso)は、連続変数または分類変数を選択するためのよく知られた効率的なアルゴリズムである。
グループラッソのスパース解を得るための2段階の手順を提案する。
本手法は,予測精度やモデル次元に関して,技術アルゴリズムの状態よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T13:43:57Z) - To tree or not to tree? Assessing the impact of smoothing the decision
boundaries [4.286327408435937]
自然にそのような解を見つけるアルゴリズムによって生成される「厳密な」決定境界が、どの程度緩和されて性能改善を得るべきかを定量化する。
この2つの尺度が,モデル選択によってさらに探索する前に,モデルがいかに表現的であるべきかをユーザが判断する上で,どのように役立つかを示す。
論文 参考訳（メタデータ） (2022-10-07T16:27:13Z) - An Approximation Method for Fitted Random Forests [0.0]
本研究では,葉にデータポイントを割り当てたランダムフォレストモデルを用いて,各木を近似する手法について検討した。
具体的には,多項ロジスティック回帰の適合が予測品質を保ちながらサイズを減少させるかどうかを考察することから始める。
論文 参考訳（メタデータ） (2022-07-05T17:28:52Z) - Optimal Decision Diagrams for Classification [68.72078059880018]
数学的プログラミングの観点から最適決定図の学習について検討する。
本稿では,新しい混合整数線形プログラミングモデルを提案する。
このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
論文 参考訳（メタデータ） (2022-05-28T18:31:23Z) - An exact counterfactual-example-based approach to tree-ensemble models
interpretability [0.0]
高性能モデルは、決定を完全に理解するために必要な透明性を示さない。
多次元間隔の集まりの形で、決定領域の正確な幾何学的特徴付けを導出できる。
回帰問題に対する推論への適応も考えられている。
論文 参考訳（メタデータ） (2021-05-31T09:32:46Z) - A Twin Neural Model for Uplift [59.38563723706796]
Upliftは条件付き治療効果モデリングの特定のケースです。
相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。
本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
論文 参考訳（メタデータ） (2021-05-11T16:02:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。