論文の概要: Training Experimentally Robust and Interpretable Binarized Regression
Models Using Mixed-Integer Programming
- arxiv url: http://arxiv.org/abs/2112.00434v1
- Date: Wed, 1 Dec 2021 11:53:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 21:45:27.526549
- Title: Training Experimentally Robust and Interpretable Binarized Regression
Models Using Mixed-Integer Programming
- Title（参考訳）: Mixed-Integer Programming を用いた実験的ロバストかつ解釈可能な2値回帰モデルの訓練
- Authors: Sanjana Tule, Nhi Ha Lan Le, Buser Say
- Abstract要約: マルチクラス分類タスクに対するロバストかつ解釈可能な二項化回帰モデルをトレーニングするためのモデルに基づくアプローチを提案する。
MIPモデルは、重み付けされた目的を用いて予測マージンとモデルサイズを最適化する。
MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
- 参考スコア（独自算出の注目度）: 3.179831861897336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explore model-based approach to training robust and
interpretable binarized regression models for multiclass classification tasks
using Mixed-Integer Programming (MIP). Our MIP model balances the optimization
of prediction margin and model size by using a weighted objective that:
minimizes the total margin of incorrectly classified training instances,
maximizes the total margin of correctly classified training instances, and
maximizes the overall model regularization. We conduct two sets of experiments
to test the classification accuracy of our MIP model over standard and
corrupted versions of multiple classification datasets, respectively. In the
first set of experiments, we show that our MIP model outperforms an equivalent
Pseudo-Boolean Optimization (PBO) model and achieves competitive results to
Logistic Regression (LR) and Gradient Descent (GD) in terms of classification
accuracy over the standard datasets. In the second set of experiments, we show
that our MIP model outperforms the other models (i.e., GD and LR) in terms of
classification accuracy over majority of the corrupted datasets. Finally, we
visually demonstrate the interpretability of our MIP model in terms of its
learned parameters over the MNIST dataset. Overall, we show the effectiveness
of training robust and interpretable binarized regression models using MIP.
- Abstract（参考訳）: 本稿では,Mixed-Integer Programming (MIP) を用いたマルチクラス分類タスクに対して,頑健かつ解釈可能な二項化回帰モデルをトレーニングするためのモデルベースアプローチについて検討する。
MIPモデルは,誤った分類されたトレーニングインスタンスの総マージンを最小化し,正しく分類されたトレーニングインスタンスの総マージンを最大化し,モデル全体の正規化を最大化する重み付き目的を用いて,予測マージンとモデルサイズを最適化する。
複数の分類データセットの標準および破損したバージョンに対して,mipモデルの分類精度をテストする実験を2セット実施した。
最初の実験では,mipモデルが等価なpseudo-boolean optimization (pbo)モデルよりも優れており,標準データセットに対する分類精度の観点からロジスティック回帰 (lr) と勾配降下 (gd) との競合結果が得られることを示した。
第2の実験では,mipモデルが,破損したデータセットの大部分よりも分類精度において,他のモデル(gdおよびlr)よりも優れていることを示す。
最後に、MNISTデータセット上の学習パラメータの観点から、MIPモデルの解釈可能性を視覚的に示す。
MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
関連論文リスト
- Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。
推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。
我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
論文 参考訳（メタデータ） (2024-11-02T07:06:53Z) - A Dynamic Approach to Stock Price Prediction: Comparing RNN and Mixture of Experts Models Across Different Volatility Profiles [0.0]
MoEフレームワークは揮発性株のRNNと安定株の線形モデルを組み合わせて、ゲーティングネットワークを介して各モデルの重量を動的に調整する。
その結果,MoE法は様々な変動性プロファイルの予測精度を著しく向上させることがわかった。
MoEモデルの適応性は個々のモデルよりも優れており、Mean Squared Error(MSE)やMean Absolute Error(MAE)などのエラーを減らすことができる。
論文 参考訳（メタデータ） (2024-10-04T14:36:21Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
論文 参考訳（メタデータ） (2024-03-28T22:45:38Z) - Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-07-07T08:19:40Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Using Explainable Boosting Machine to Compare Idiographic and Nomothetic
Approaches for Ecological Momentary Assessment Data [2.0824228840987447]
本稿では,非線形解釈型機械学習(ML)モデルを用いた分類問題について検討する。
木々の様々なアンサンブルは、不均衡な合成データセットと実世界のデータセットを用いて線形モデルと比較される。
2つの実世界のデータセットのうちの1つで、知識蒸留法は改善されたAUCスコアを達成する。
論文 参考訳（メタデータ） (2022-04-04T17:56:37Z) - Model-based metrics: Sample-efficient estimates of predictive model
subpopulation performance [11.994417027132807]
健康状態の表示、診断、予測のために現在一般的に開発されている機械学習モデル$-$は、様々なパフォーマンス指標で評価される。
サブ集団のパフォーマンスメトリクスは、通常、そのサブグループのデータのみを使用して計算されるため、より小さなグループに対する分散推定が高くなる。
本稿では,予測モデルスコアの条件分布を記述した評価モデル$-$を用いて,モデルベース計量(MBM)の推定値を生成する。
論文 参考訳（メタデータ） (2021-04-25T19:06:34Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。