論文の概要: Exploring the Whole Rashomon Set of Sparse Decision Trees

• arxiv url: http://arxiv.org/abs/2209.08040v1
• Date: Fri, 16 Sep 2022 16:37:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 11:57:56.278565
• Title: Exploring the Whole Rashomon Set of Sparse Decision Trees
• Title（参考訳）: スパース決定木の全羅生門集合の探索
• Authors: Rui Xin, Chudi Zhong, Zhi Chen, Takuya Takagi, Margo Seltzer, Cynthia Rudin
• Abstract要約: ラショーモン集合は、ほぼ最適モデル全体の成す集合であることを示す。 粗い決定木のための羅生門セットを完全に列挙する最初の手法を提供する。 これにより、ユーザーはモデル選択に対して前例のないレベルの制御を行うことができる。
• 参考スコア（独自算出の注目度）: 23.136590456299007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In any given machine learning problem, there may be many models that could explain the data almost equally well. However, most learning algorithms return only one of these models, leaving practitioners with no practical way to explore alternative models that might have desirable properties beyond what could be expressed within a loss function. The Rashomon set is the set of these all almost-optimal models. Rashomon sets can be extremely complicated, particularly for highly nonlinear function classes that allow complex interaction terms, such as decision trees. We provide the first technique for completely enumerating the Rashomon set for sparse decision trees; in fact, our work provides the first complete enumeration of any Rashomon set for a non-trivial problem with a highly nonlinear discrete function class. This allows the user an unprecedented level of control over model choice among all models that are approximately equally good. We represent the Rashomon set in a specialized data structure that supports efficient querying and sampling. We show three applications of the Rashomon set: 1) it can be used to study variable importance for the set of almost-optimal trees (as opposed to a single tree), 2) the Rashomon set for accuracy enables enumeration of the Rashomon sets for balanced accuracy and F1-score, and 3) the Rashomon set for a full dataset can be used to produce Rashomon sets constructed with only subsets of the data set. Thus, we are able to examine Rashomon sets across problems with a new lens, enabling users to choose models rather than be at the mercy of an algorithm that produces only a single model.
• Abstract（参考訳）: 任意の機械学習問題では、データをほぼ等しく説明できるモデルが多数存在するかもしれない。 しかし、ほとんどの学習アルゴリズムはこれらのモデルのうちの1つしか返しません。 ラショモン集合はこれらのほぼ最適モデルの集合である。 ラショモン集合は、特に決定木のような複雑な相互作用項を可能にする高非線形関数クラスにおいて、非常に複雑である。 我々は, 疎決定木に対するラショモン集合を完全に列挙する最初の手法を提供する。実際, 非線形離散関数クラスを持つ非自明な問題に対して, 任意のラショモン集合を初めて完全列挙する。 これにより、ほぼ等しく優れたすべてのモデルにおいて、モデル選択に対する前例のないレベルのコントロールが可能になる。 我々はrashomon集合を,効率的なクエリとサンプリングをサポートする特殊なデータ構造で表現する。 羅生門集合の3つの応用例を示す。 1)ほぼ最適木の集合(単一の木とは対照的に)の変数の重要性を研究するのに使うことができる。 2 精度ラショモンセットは、バランスの取れた精度とf1スコアのラショモンセットの列挙を可能にし、 3) 完全なデータセットに対するRashomonセットを使用して,データセットのサブセットのみで構成されたRashomonセットを生成する。 これにより、新しいレンズで問題にまたがるRashomon集合を検証でき、ユーザーは単一のモデルのみを生成するアルゴリズムを使わずにモデルを選択することができる。

関連論文リスト

• Representing Model Weights with Language using Tree Experts [39.90685550999956]
  本稿では,モデル重みと言語の両方を組み込んだ共同空間内のモデルを表現することを学ぶ。 Probing Experts (ProbeX) は理論的に動機づけられた軽量な探査手法である。 以上の結果から, ProbeX は大規模モデルの重みを共有重み付き埋め込み空間に効果的にマッピングできることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:17:09Z)
• Efficient Exploration of the Rashomon Set of Rule Set Models [18.187800166484507]
  解釈可能な機械学習における新たなパラダイムは、ほぼ最適性能を示すすべてのモデルの羅生門集合を探索することを目的としている。 ラショモン集合探索に関する既存の研究は、特定のモデルのクラスに対するラショモン集合の徹底的な探索に焦点を当てている。 本稿では,Rashomonのルールセットの集合を網羅的探索の有無で探索する手法を初めて提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:37:41Z)
• A Path to Simpler Models Starts With Noise [17.36067410506525]
  羅生門集合は、与えられたデータセット上でほぼ等しく機能するモデルの集合である。 オープンな疑問は、なぜラショモン比が大きくなるのかである。 よりノイズの多いデータセットは、実践者がモデルをトレーニングする方法を通じて、より大きなRashomon比につながることを示す。
  論文  参考訳（メタデータ） (2023-10-30T16:52:57Z)
• Exploring and Interacting with the Set of Good Sparse Generalized Additive Models [26.64299550434767]
  固定支持集合に対する楕円体を持つスパース・一般化加法モデルのラショーモン集合を近似するアルゴリズムを提案する。 近似された羅生門集合は、(1)モデルクラスにおける変数の重要性の研究、(2)ユーザ指定制約下でのモデル発見(単調性、直接編集)、(3)形状関数の急激な変化の調査など、実用上の課題を解決する基盤となる。
  論文  参考訳（メタデータ） (2023-03-28T15:25:46Z)
• Composite Feature Selection using Deep Ensembles [130.72015919510605]
  本研究では,事前定義されたグループ化を伴わない予測的特徴群発見の問題について検討する。 本稿では,特徴選択モデルのアンサンブルを用いて予測グループを探索する,新しいディープラーニングアーキテクチャを提案する。 発見群と基底真理の類似性を測定するための新しい尺度を提案する。
  論文  参考訳（メタデータ） (2022-11-01T17:49:40Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Universal and data-adaptive algorithms for model selection in linear contextual bandits [52.47796554359261]
  モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。 データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。 我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
  論文  参考訳（メタデータ） (2021-11-08T18:05:35Z)
• Partial Order in Chaos: Consensus on Feature Attributions in the Rashomon Set [50.67431815647126]
  ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。 この手法により局所的・言語的特徴の半順序が生じることを示す。 これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
  論文  参考訳（メタデータ） (2021-10-26T02:53:14Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。