論文の概要: An extended asymmetric sigmoid with Perceptron (SIGTRON) for imbalanced linear classification
- arxiv url: http://arxiv.org/abs/2312.16043v3
- Date: Tue, 30 Apr 2024 00:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 19:28:13.207613
- Title: An extended asymmetric sigmoid with Perceptron (SIGTRON) for imbalanced linear classification
- Title（参考訳）: 不均衡線形分類のためのパーセプトロン(SIGTRON)を用いた拡張非対称シグモノイド
- Authors: Hyenkyun Woo,
- Abstract要約: 本稿では、SIGTRONと呼ばれる新しいパラメータ化シグモノイドと、SIGTRON不均衡分類(SIC)モデルと呼ばれる同伴凸モデルを提案する。
従来の$pi$重み付きコスト依存学習モデルとは対照的に、SICモデルは損失関数に外部の$pi$重みを持たない。
提案したSICモデルは,データセットのバリエーションに適応可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article presents a new polynomial parameterized sigmoid called SIGTRON, which is an extended asymmetric sigmoid with Perceptron, and its companion convex model called SIGTRON-imbalanced classification (SIC) model that employs a virtual SIGTRON-induced convex loss function. In contrast to the conventional $\pi$-weighted cost-sensitive learning model, the SIC model does not have an external $\pi$-weight on the loss function but has internal parameters in the virtual SIGTRON-induced loss function. As a consequence, when the given training dataset is close to the well-balanced condition considering the (scale-)class-imbalance ratio, we show that the proposed SIC model is more adaptive to variations of the dataset, such as the inconsistency of the (scale-)class-imbalance ratio between the training and test datasets. This adaptation is justified by a skewed hyperplane equation, created via linearization of the gradient satisfying $\epsilon$-optimal condition. Additionally, we present a quasi-Newton optimization(L-BFGS) framework for the virtual convex loss by developing an interval-based bisection line search. Empirically, we have observed that the proposed approach outperforms (or is comparable to) $\pi$-weighted convex focal loss and balanced classifier LIBLINEAR(logistic regression, SVM, and L2SVM) in terms of test classification accuracy with $51$ two-class and $67$ multi-class datasets. In binary classification problems, where the scale-class-imbalance ratio of the training dataset is not significant but the inconsistency exists, a group of SIC models with the best test accuracy for each dataset (TOP$1$) outperforms LIBSVM(C-SVC with RBF kernel), a well-known kernel-based classifier.
- Abstract（参考訳）: 本稿では、パーセプトロンと拡張非対称シグマノイドであるSIGTRONと呼ばれる新しい多項式パラメタライズドシグマノイドと、仮想SIGTRON誘導凸損失関数を用いたSIGTRON不均衡分類(SIC)モデルを提案する。
従来の$\pi$-weighted cost-sensitive learning modelとは対照的に、SICモデルは損失関数に外部の$\pi$-weightを持たず、仮想SIGTRON誘導損失関数の内部パラメータを持つ。
その結果、与えられたトレーニングデータセットが(スケール-)クラス不均衡比を考慮すると、SICモデルはトレーニングデータセットとテストデータセットの(スケール-)クラス不均衡比の不整合など、データセットのバリエーションに適応していることが示される。
この適応は、$\epsilon$-Optimal条件を満たす勾配の線形化によって生成される歪んだ超平面方程式によって正当化される。
さらに,間隔に基づく断面線探索を開発することにより,仮想凸損失に対する準ニュートン最適化(L-BFGS)フレームワークを提案する。
実験により,提案手法は,511ドル2級および670ドルのマルチクラスデータセットを用いたテスト分類精度において,$\pi$-weighted convex focal loss, and balanced classifier LIBLINEAR(物流回帰, SVM, L2SVM)よりも優れていることがわかった。
トレーニングデータセットのスケールクラス不均衡比が重要でないバイナリ分類問題では、各データセットに最適なテスト精度を持つSICモデル群(TOP$1$)が、よく知られたカーネルベースの分類器であるLIBSVM(C-SVC with RBF kernel)より優れている。
関連論文リスト
- Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳（メタデータ） (2024-03-11T05:35:38Z) - Graph Embedded Intuitionistic Fuzzy Random Vector Functional Link Neural
Network for Class Imbalance Learning [4.069144210024564]
クラス不均衡学習(GE-IFRVFL-CIL)モデルのためのグラフ埋め込み直観的ファジィRVFLを提案する。
提案したGE-IFRVFL-CILモデルは、クラス不均衡問題に対処し、ノイズとアウトレーヤの有害な効果を軽減し、データセットの固有の幾何学的構造を保存するための有望な解決策を提供する。
論文 参考訳（メタデータ） (2023-07-15T20:45:45Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - On the Implicit Geometry of Cross-Entropy Parameterizations for
Label-Imbalanced Data [26.310275682709776]
ラベインバランスデータの重み付きCE大モデルに代わるものとして,クロスエントロピー(CE)損失のロジット調整パラメータ化が提案されている。
マイノリティ不均衡比に関係なく,ロジット調整パラメータ化を適切に調整して学習することができることを示す。
論文 参考訳（メタデータ） (2023-03-14T03:04:37Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Soft-SVM Regression For Binary Classification [0.0]
ソフトネスとクラス分離パラメータを用いたヒンジ損失関数の凸緩和に基づく新しい指数族を導入する。
この新しいファミリーはSoft-SVMと呼ばれ、ロジスティック回帰とSVM分類を効果的に橋渡しする一般化線形モデルを規定することができる。
論文 参考訳（メタデータ） (2022-05-24T03:01:35Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳（メタデータ） (2021-12-30T00:27:30Z) - Label-Imbalanced and Group-Sensitive Classification under
Overparameterization [32.923780772605596]
ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。
標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。
本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
論文 参考訳（メタデータ） (2021-03-02T08:09:43Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。