論文の概要: Computing the Collection of Good Models for Rule Lists
- arxiv url: http://arxiv.org/abs/2204.11285v1
- Date: Sun, 24 Apr 2022 14:13:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 14:53:40.601320
- Title: Computing the Collection of Good Models for Rule Lists
- Title（参考訳）: ルールリストのための良いモデル集合の計算
- Authors: Kota Mata, Kentaro Kanamori, Hiroki Arimura
- Abstract要約: 規則リストと呼ばれる解釈可能なモデルのサブクラスに対する全ての良いモデルの効率的な列挙について検討する。
最先端の最適ルールリスト学習者であるCORELSに基づいて,優れたモデルの集合を正確に計算する効率的なアルゴリズムを提案する。
大域的な分析のために,我々は羅生門集合を特徴づける実験を行い,予測的乗法と公正性におけるモデルの多様さを観察した。
- 参考スコア（独自算出の注目度）: 5.220940151628733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since the seminal paper by Breiman in 2001, who pointed out a potential harm
of prediction multiplicities from the view of explainable AI, global analysis
of a collection of all good models, also known as a `Rashomon set,' has been
attracted much attention for the last years. Since finding such a set of good
models is a hard computational problem, there have been only a few algorithms
for the problem so far, most of which are either approximate or incomplete. To
overcome this difficulty, we study efficient enumeration of all good models for
a subclass of interpretable models, called rule lists. Based on a
state-of-the-art optimal rule list learner, CORELS, proposed by Angelino et al.
in 2017, we present an efficient enumeration algorithm CorelsEnum for exactly
computing a set of all good models using polynomial space in input size, given
a dataset and a error tolerance from an optimal model. By experiments with the
COMPAS dataset on recidivism prediction, our algorithm CorelsEnum successfully
enumerated all of several tens of thousands of good rule lists of length at
most $\ell = 3$ in around 1,000 seconds, while a state-of-the-art top-$K$ rule
list learner based on Lawler's method combined with CORELS, proposed by Hara
and Ishihata in 2018, found only 40 models until the timeout of 6,000 seconds.
For global analysis, we conducted experiments for characterizing the Rashomon
set, and observed large diversity of models in predictive multiplicity and
fairness of models.
- Abstract（参考訳）: 2001年のブレイマンによる初等論文では、説明可能なAIの観点から多変量予測の潜在的な害を指摘したことから、「羅生門集合」として知られる全ての良いモデルを集めた世界的分析が近年注目を集めている。
このような良いモデルの集合を見つけることは難しい計算問題であるため、この問題にはいくつかのアルゴリズムしか存在せず、そのほとんどは近似的か不完全である。
この難しさを克服するために、ルールリストと呼ばれる解釈可能なモデルのサブクラスに対する全ての良いモデルの効率的な列挙について研究する。
我々は2017年にangelinoらによって提案された最新の最適ルールリスト学習者corelsに基づいて、データセットと最適モデルからのエラー許容度を与えられた入力サイズの多項式空間を用いて、すべての良いモデルのセットを正確に計算する効率的な列挙アルゴリズムcorelsenumを提案する。
recidivism predictionのcompasデータセットを用いた実験により、アルゴリズムのcorelsenumは最大で$\ell = 3$ 約1,000秒で数万の優れたルールリストを列挙し、一方ローラー法とcorels法を組み合わせたトップ・オブ・ザ・アートのルールリスト学習者は2018年にharaと石畑によって提案され、6,000秒のタイムアウトまでわずか40モデルしか見つからなかった。
大域的解析のために,ラショモン集合を特徴付ける実験を行い,予測多重性と公平性において多種多様なモデルが観察された。
関連論文リスト
- Model Stealing for Any Low-Rank Language Model [25.16701867917684]
我々は、単純で数学的に計算可能な設定を研究することによって、言語モデルを盗むという理論的理解を構築する。
我々の主な成果は、低ランク分布を学習するための条件付きクエリモデルにおける効率的なアルゴリズムである。
これは、少なくとも理論的には、推論時に機械学習モデルがより複雑な問題を解くことができるという興味深い例である。
論文 参考訳（メタデータ） (2024-11-12T04:25:31Z) - Mean estimation in the add-remove model of differential privacy [20.78625240235862]
加算除去モデルに基づく一次元平均推定問題について検討する。
提案アルゴリズムは,実際に頻繁に使用されるアルゴリズムよりも,平均2乗誤差が2倍に向上することを示す。
論文 参考訳（メタデータ） (2023-12-11T18:59:35Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Oracle Inequalities for Model Selection in Offline Reinforcement
Learning [105.74139523696284]
本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。
対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。
そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
論文 参考訳（メタデータ） (2022-11-03T17:32:34Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳（メタデータ） (2022-01-08T00:47:50Z) - Universal and data-adaptive algorithms for model selection in linear
contextual bandits [52.47796554359261]
モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。
データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。
我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
論文 参考訳（メタデータ） (2021-11-08T18:05:35Z) - Time Series Anomaly Detection with label-free Model Selection [0.6303112417588329]
ラベルのない時系列データに対するラベルなしモデル選択を用いた新しい異常検出アルゴリズムであるLaF-ADを提案する。
我々のアルゴリズムは容易に並列化可能であり、不条件データや季節データに対してより堅牢であり、多数の異常モデルに対して非常にスケーラブルである。
論文 参考訳（メタデータ） (2021-06-11T00:21:06Z) - Outlier-Robust Learning of Ising Models Under Dobrushin's Condition [57.89518300699042]
本研究では, サンプルの一定割合が逆向きに破壊されるような外乱条件下で, ドブルシンの条件を満たすIsingモデルの学習問題について検討する。
我々の主な成果は、ほぼ最適誤差保証を伴うこの問題に対して、計算効率のよい最初の頑健な学習アルゴリズムを提供することである。
論文 参考訳（メタデータ） (2021-02-03T18:00:57Z) - Generation of Consistent Sets of Multi-Label Classification Rules with a
Multi-Objective Evolutionary Algorithm [11.25469393912791]
本稿では,複数のルールに基づく多ラベル分類モデルを生成する多目的進化アルゴリズムを提案する。
我々のアルゴリズムは規則の集合(順序のない集合)に基づいてモデルを生成し、解釈可能性を高める。
また、ルール作成中にコンフリクト回避アルゴリズムを用いることで、与えられたモデル内のすべてのルールは、同じモデル内の他のすべてのルールと整合することが保証される。
論文 参考訳（メタデータ） (2020-03-27T16:43:10Z) - Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。
アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。
ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文 参考訳（メタデータ） (2020-02-20T10:50:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。