論文の概要: Training Experimentally Robust and Interpretable Binarized Regression
Models Using Mixed-Integer Programming
- arxiv url: http://arxiv.org/abs/2112.00434v1
- Date: Wed, 1 Dec 2021 11:53:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 21:45:27.526549
- Title: Training Experimentally Robust and Interpretable Binarized Regression
Models Using Mixed-Integer Programming
- Title(参考訳): Mixed-Integer Programming を用いた実験的ロバストかつ解釈可能な2値回帰モデルの訓練
- Authors: Sanjana Tule, Nhi Ha Lan Le, Buser Say
- Abstract要約: マルチクラス分類タスクに対するロバストかつ解釈可能な二項化回帰モデルをトレーニングするためのモデルに基づくアプローチを提案する。
MIPモデルは、重み付けされた目的を用いて予測マージンとモデルサイズを最適化する。
MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
- 参考スコア(独自算出の注目度): 3.179831861897336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explore model-based approach to training robust and
interpretable binarized regression models for multiclass classification tasks
using Mixed-Integer Programming (MIP). Our MIP model balances the optimization
of prediction margin and model size by using a weighted objective that:
minimizes the total margin of incorrectly classified training instances,
maximizes the total margin of correctly classified training instances, and
maximizes the overall model regularization. We conduct two sets of experiments
to test the classification accuracy of our MIP model over standard and
corrupted versions of multiple classification datasets, respectively. In the
first set of experiments, we show that our MIP model outperforms an equivalent
Pseudo-Boolean Optimization (PBO) model and achieves competitive results to
Logistic Regression (LR) and Gradient Descent (GD) in terms of classification
accuracy over the standard datasets. In the second set of experiments, we show
that our MIP model outperforms the other models (i.e., GD and LR) in terms of
classification accuracy over majority of the corrupted datasets. Finally, we
visually demonstrate the interpretability of our MIP model in terms of its
learned parameters over the MNIST dataset. Overall, we show the effectiveness
of training robust and interpretable binarized regression models using MIP.
- Abstract(参考訳): 本稿では,Mixed-Integer Programming (MIP) を用いたマルチクラス分類タスクに対して,頑健かつ解釈可能な二項化回帰モデルをトレーニングするためのモデルベースアプローチについて検討する。
MIPモデルは,誤った分類されたトレーニングインスタンスの総マージンを最小化し,正しく分類されたトレーニングインスタンスの総マージンを最大化し,モデル全体の正規化を最大化する重み付き目的を用いて,予測マージンとモデルサイズを最適化する。
複数の分類データセットの標準および破損したバージョンに対して,mipモデルの分類精度をテストする実験を2セット実施した。
最初の実験では,mipモデルが等価なpseudo-boolean optimization (pbo)モデルよりも優れており,標準データセットに対する分類精度の観点からロジスティック回帰 (lr) と勾配降下 (gd) との競合結果が得られることを示した。
第2の実験では,mipモデルが,破損したデータセットの大部分よりも分類精度において,他のモデル(gdおよびlr)よりも優れていることを示す。
最後に、MNISTデータセット上の学習パラメータの観点から、MIPモデルの解釈可能性を視覚的に示す。
MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
関連論文リスト
- Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳(メタデータ) (2023-07-07T08:19:40Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - Using Explainable Boosting Machine to Compare Idiographic and Nomothetic
Approaches for Ecological Momentary Assessment Data [2.0824228840987447]
本稿では,非線形解釈型機械学習(ML)モデルを用いた分類問題について検討する。
木々の様々なアンサンブルは、不均衡な合成データセットと実世界のデータセットを用いて線形モデルと比較される。
2つの実世界のデータセットのうちの1つで、知識蒸留法は改善されたAUCスコアを達成する。
論文 参考訳(メタデータ) (2022-04-04T17:56:37Z) - Model soups: averaging weights of multiple fine-tuned models improves
accuracy without increasing inference time [69.7693300927423]
複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。
モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
論文 参考訳(メタデータ) (2022-03-10T17:03:49Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳(メタデータ) (2021-10-07T11:58:35Z) - Model-based micro-data reinforcement learning: what are the crucial
model properties and which model to choose? [0.2836066255205732]
我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。
マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。
また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
論文 参考訳(メタデータ) (2021-07-24T11:38:25Z) - Model-based metrics: Sample-efficient estimates of predictive model
subpopulation performance [11.994417027132807]
健康状態の表示、診断、予測のために現在一般的に開発されている機械学習モデル$-$は、様々なパフォーマンス指標で評価される。
サブ集団のパフォーマンスメトリクスは、通常、そのサブグループのデータのみを使用して計算されるため、より小さなグループに対する分散推定が高くなる。
本稿では,予測モデルスコアの条件分布を記述した評価モデル$-$を用いて,モデルベース計量(MBM)の推定値を生成する。
論文 参考訳(メタデータ) (2021-04-25T19:06:34Z) - Split Modeling for High-Dimensional Logistic Regression [0.2676349883103404]
短時間コンパイルしたアンサンブルロジスティック分類モデルに対して,新しい手法を提案する。
本手法は,予測精度に優れたバイアスオフの活用法を学習する。
提案手法を実装したオープンソースソフトウェアライブラリを議論する。
論文 参考訳(メタデータ) (2021-02-17T05:57:26Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。