論文の概要: Continuously Generalized Ordinal Regression for Linear and Deep Models
- arxiv url: http://arxiv.org/abs/2202.07005v1
- Date: Mon, 14 Feb 2022 19:49:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-16 15:02:45.028648
- Title: Continuously Generalized Ordinal Regression for Linear and Deep Models
- Title(参考訳): 線形および深部モデルに対する連続一般化順序回帰
- Authors: Fred Lu, Francis Ferraro, Edward Raff
- Abstract要約: 正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。
本稿では,クラス固有の超平面斜面をモデル化するための新しい手法を提案する。
本手法は,順序回帰ベンチマークデータセットの完全セットに対して,標準順序ロジスティックモデルよりも大幅に優れる。
- 参考スコア(独自算出の注目度): 41.03778663275373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ordinal regression is a classification task where classes have an order and
prediction error increases the further the predicted class is from the true
class. The standard approach for modeling ordinal data involves fitting
parallel separating hyperplanes that optimize a certain loss function. This
assumption offers sample efficient learning via inductive bias, but is often
too restrictive in real-world datasets where features may have varying effects
across different categories. Allowing class-specific hyperplane slopes creates
generalized logistic ordinal regression, increasing the flexibility of the
model at a cost to sample efficiency. We explore an extension of the
generalized model to the all-thresholds logistic loss and propose a
regularization approach that interpolates between these two extremes. Our
method, which we term continuously generalized ordinal logistic, significantly
outperforms the standard ordinal logistic model over a thorough set of ordinal
regression benchmark datasets. We further extend this method to deep learning
and show that it achieves competitive or lower prediction error compared to
previous models over a range of datasets and modalities. Furthermore, two
primary alternative models for deep learning ordinal regression are shown to be
special cases of our framework.
- Abstract(参考訳): 正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。
順序データモデリングの標準的なアプローチは、ある損失関数を最適化する超平面を平行に分離するものである。
この仮定は、帰納的バイアスによるサンプル効率的な学習を提供するが、機能が異なるカテゴリにまたがる影響を持つ可能性がある現実のデータセットでは、制限的すぎることが多い。
クラス固有の超平面斜面が与えられると、一般化されたロジスティック順序回帰が生じ、モデルの柔軟性が向上し、効率が向上する。
一般化モデルのロジスティック損失への拡張を探索し,これら2つの極値間を補間する正規化手法を提案する。
本手法は,連続的に一般化した順序的ロジスティック(ordinal logistic)と呼ぶ手法であり,順序的回帰ベンチマークデータセットの完全な集合よりも,標準的な順序的ロジスティックモデルを大幅に上回っている。
さらに,この手法を深層学習に拡張し,様々なデータセットやモダリティに対して,従来のモデルと比較して,競合的あるいは低い予測誤差を実現することを示す。
さらに,深層学習順序回帰のための2つの主要な代替モデルが,このフレームワークの特別なケースであることが示されている。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳(メタデータ) (2024-05-01T15:59:00Z) - Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。
ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2~10%向上させる。
論文 参考訳(メタデータ) (2024-02-02T16:35:51Z) - Scalable Estimation for Structured Additive Distributional Regression [0.0]
本稿では,勾配降下の考え方に基づいて,従来のノートパソコン上の任意の量のデータを扱うことができる新しいバックフィッティングアルゴリズムを提案する。
大規模なシミュレーション研究と、オーストリアにおける雷数予測の非常に困難でユニークな例を用いて、性能を評価した。
論文 参考訳(メタデータ) (2023-01-13T14:59:42Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Ordinal-ResLogit: Interpretable Deep Residual Neural Networks for
Ordered Choices [6.982614422666432]
我々は、完全に解釈可能なディープラーニングに基づく順序回帰モデルを開発する。
市場シェア、代替パターン、弾力性の定式化が導出される。
以上の結果から,Ordinal-ResLogitは従来の順序回帰モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-04-20T02:14:28Z) - Nonparametric Functional Analysis of Generalized Linear Models Under
Nonlinear Constraints [0.0]
本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。
これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。
これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
論文 参考訳(メタデータ) (2021-10-11T04:49:59Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。