論文の概要: To tree or not to tree? Assessing the impact of smoothing the decision
boundaries
- arxiv url: http://arxiv.org/abs/2210.03672v1
- Date: Fri, 7 Oct 2022 16:27:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 14:45:43.479331
- Title: To tree or not to tree? Assessing the impact of smoothing the decision
boundaries
- Title(参考訳): 木にでも木にでも?
意思決定境界の平滑化の影響評価
- Authors: Anthea M\'erida, Argyris Kalogeratos and Mathilde Mougeot
- Abstract要約: 自然にそのような解を見つけるアルゴリズムによって生成される「厳密な」決定境界が、どの程度緩和されて性能改善を得るべきかを定量化する。
この2つの尺度が,モデル選択によってさらに探索する前に,モデルがいかに表現的であるべきかをユーザが判断する上で,どのように役立つかを示す。
- 参考スコア(独自算出の注目度): 4.286327408435937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When analyzing a dataset, it can be useful to assess how smooth the decision
boundaries need to be for a model to better fit the data. This paper addresses
this question by proposing the quantification of how much should the 'rigid'
decision boundaries, produced by an algorithm that naturally finds such
solutions, be relaxed to obtain a performance improvement. The approach we
propose starts with the rigid decision boundaries of a seed Decision Tree (seed
DT), which is used to initialize a Neural DT (NDT). The initial boundaries are
challenged by relaxing them progressively through training the NDT. During this
process, we measure the NDT's performance and decision agreement to its seed
DT. We show how these two measures can help the user in figuring out how
expressive his model should be, before exploring it further via model
selection. The validity of our approach is demonstrated with experiments on
simulated and benchmark datasets.
- Abstract(参考訳): データセットを解析する場合、モデルがデータに適合するのに、決定境界がどれだけスムーズに必要かを評価するのに役立ちます。
本稿では,そのような解を自然に見つけ出すアルゴリズムによって生成される「厳密な」決定境界を緩和して,性能向上を図ることで,この問題に対処する。
提案手法は,ニューラルDT(NDT)の初期化に使用されるシード決定木(シードDT)の厳密な決定境界から始める。
最初の境界線は、NDTのトレーニングを通じて徐々に緩和することで挑戦される。
この過程で、NDTのパフォーマンスと決定合意をシードDTに対して測定する。
この2つの指標が,モデル選択によってさらに探索する前に,モデルがいかに表現力のあるものかをユーザが理解する上でどのように役立つかを示す。
提案手法の有効性は,シミュレーションおよびベンチマークデータセットの実験により実証された。
関連論文リスト
- Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳(メタデータ) (2024-01-18T08:12:23Z) - Limits of Actor-Critic Algorithms for Decision Tree Policies Learning in
IBMDPs [9.587070290189507]
AIモデルの解釈可能性により、ユーザーの安全チェックがそのようなAIの信頼を構築することができる。
決定木(DT)は、学習したモデルをグローバルに見て、どの入力の特徴が決定に重要なのかを透過的に明らかにします。
近年の強化学習フレームワークは,深いRLを用いてDTの空間を探索するために提案されている。
論文 参考訳(メタデータ) (2023-09-23T13:06:20Z) - Boundary Unlearning [5.132489421775161]
我々は、訓練された機械学習モデルからクラス全体を解放する、迅速かつ効果的な方法である境界アンラーニングを提案する。
画像分類タスクと顔認識タスクにおいて境界アンラーニングを広範囲に評価し,それぞれ17タイムと19タイムの速さで評価した。
論文 参考訳(メタデータ) (2023-03-21T03:33:18Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳(メタデータ) (2023-01-28T00:49:28Z) - Understanding Deep Learning via Decision Boundary [81.49114762506287]
決定境界(DB)の変動が低いニューラルネットワークはより一般化可能であることを示す。
アルゴリズムDBの変数と$(epsilon, eta)$-data DBの変数という2つの新しい概念が、決定境界の変数を測定するために提案されている。
論文 参考訳(メタデータ) (2022-06-03T11:34:12Z) - Adapting and Evaluating Influence-Estimation Methods for
Gradient-Boosted Decision Trees [12.167833575680833]
Gradient-boosted decision tree (GBDT) は、強力で広く使われているモデルのクラスである。
深層学習モデルのために設計された影響推定手法をGBDTに適用する。
BoostIn は GBDT に対する効率的な影響推定手法であり,既存の作業と同等あるいは同等に機能する。
論文 参考訳(メタデータ) (2022-04-30T22:39:17Z) - R(Det)^2: Randomized Decision Routing for Object Detection [64.48369663018376]
本稿では,決定木とディープニューラルネットワークをエンドツーエンドの学習方法で組み合わせたオブジェクト検出手法を提案する。
効率的な学習を容易にするために,ノード選択型および連想型損失を伴うランダム化決定経路を提案する。
このアプローチをオブジェクト検出のためのランダム化決定ルーティングとして、R(Det)$2$と略す。
論文 参考訳(メタデータ) (2022-04-02T07:54:58Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳(メタデータ) (2020-08-21T10:45:25Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳(メタデータ) (2020-08-19T19:11:25Z) - Model family selection for classification using Neural Decision Trees [4.286327408435937]
本稿では,タスクに必要な探索範囲を削減する手法を提案する。
その考え方は、厳格な決定境界を持つ特定のファミリー、参照モデル(RM)の訓練されたインスタンスから、どのくらいの費用を逸脱する必要があるかの定量化である。
論文 参考訳(メタデータ) (2020-06-20T01:27:01Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。