論文の概要: Loss-Optimal Classification Trees: A Generalized Framework and the Logistic Case

• arxiv url: http://arxiv.org/abs/2306.00857v2
• Date: Thu, 7 Dec 2023 16:00:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 18:47:55.720470
• Title: Loss-Optimal Classification Trees: A Generalized Framework and the Logistic Case
• Title（参考訳）: 損失最適分類木:一般化された枠組みとロジスティックケース
• Authors: Tommaso Aldinucci, Matteo Lapucci
• Abstract要約: 分類木(CT)は、解釈可能な機械学習において最も一般的なモデルの1つである。 本稿では,これらのトレーニングモデルの中で最も関連性の高いものが,一般的なフレームワークにカプセル化可能であることを論じる。 本稿では, この枠組みの新たな実現法を提案する。具体的には, MIP 設定で処理されるロジスティック損失を線形ピースワイズ近似により検討する。 得られた最適ロジスティックツリーモデルは、拡張された解釈可能性特徴と競合一般化能力を持つ木を誘導できることを数値的に証明する。
• 参考スコア（独自算出の注目度）: 0.609170287691728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Classification Tree (CT) is one of the most common models in interpretable machine learning. Although such models are usually built with greedy strategies, in recent years, thanks to remarkable advances in Mixer-Integer Programming (MIP) solvers, several exact formulations of the learning problem have been developed. In this paper, we argue that some of the most relevant ones among these training models can be encapsulated within a general framework, whose instances are shaped by the specification of loss functions and regularizers. Next, we introduce a novel realization of this framework: specifically, we consider the logistic loss, handled in the MIP setting by a linear piece-wise approximation, and couple it with $\ell_1$-regularization terms. The resulting Optimal Logistic Tree model numerically proves to be able to induce trees with enhanced interpretability features and competitive generalization capabilities, compared to the state-of-the-art MIP-based approaches.
• Abstract（参考訳）: 分類木(CT)は、解釈可能な機械学習において最も一般的なモデルの1つである。 このようなモデルは通常、欲張りの戦略で構築されるが、近年、MIP(Mixer-Integer Programming)ソルバの顕著な進歩により、学習問題の正確な定式化が開発されている。 本稿では、これらのトレーニングモデルの中で最も関連性の高いものは、損失関数と正規化器の仕様によってインスタンスが形成される一般的なフレームワークにカプセル化可能であることを論じる。 次に,この枠組みの新たな実現について紹介する。具体的には,mip 設定において線形区間近似によって処理されるロジスティック損失を,$\ell_1$-regularization 項に結合する。 得られた最適ロジスティックツリーモデルは、最先端のMIPベースのアプローチと比較して、解釈可能性の向上と競合一般化能力を備えたツリーを数値的に誘導できることを証明している。

関連論文リスト

• Inherently Interpretable Tree Ensemble Learning [7.868733904112288]
  浅い決定木をベース学習として使用すると、アンサンブル学習アルゴリズムが本質的に解釈可能であることを示す。 木アンサンブルを固有の解釈可能性を持つ機能的ANOVA表現に変換する解釈アルゴリズムを開発した。 シミュレーションと実世界のデータセットを用いた実験により,提案手法はモデル解釈と予測性能のトレードオフを良くすることを示した。
  論文  参考訳（メタデータ） (2024-10-24T18:58:41Z)
• Deep learning enhanced mixed integer optimization: Learning to reduce model dimensionality [0.0]
  この研究は、Mixed-Integer Programmingに固有の計算複雑性に対処するフレームワークを導入する。 ディープラーニングを利用することで、MIPインスタンス間の共通構造を特定し、活用する問題固有モデルを構築する。 本稿では,モデルの堅牢性と一般化性を高める合成データを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-17T19:15:13Z)
• Learning Optimal Fair Scoring Systems for Multi-Class Classification [0.0]
  機械学習モデルには、解釈可能性の欠如と、それらが生成または再現できる望ましくないバイアスに関する懸念が高まっている。 本稿では,混合整数線形計画法(MILP)を用いて,分散性と公正性制約下で本質的に解釈可能なスコアリングシステムを生成する。
  論文  参考訳（メタデータ） (2023-04-11T07:18:04Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Margin Optimal Classification Trees [0.0]
  最適分類木(OCT)問題に対する新しい混合整数定式化法を提案する。 我々のモデルは、Margin Optimal Classification Tree (MARGOT)と呼ばれ、バイナリ分類のためのSupport Vector Machinesの一般化機能を利用する。 提案手法の解釈可能性を高めるため,超平面の局所的疎結合を誘導する特徴選択制約を含む2種類のMARGOTを解析した。
  論文  参考訳（メタデータ） (2022-10-19T14:08:56Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)
• Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies [76.83991682238666]
  Branch and Bound (B&B) は、Mixed-Integer Linear Programming Problem (MILP) の解法として一般的に用いられる木探索法である。 本稿では,新しい模倣学習フレームワークを提案し,分岐を表現するための新しい入力機能とアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-12T17:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。