論文の概要: Engression: Extrapolation for Nonlinear Regression?
- arxiv url: http://arxiv.org/abs/2307.00835v1
- Date: Mon, 3 Jul 2023 08:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 13:57:57.649202
- Title: Engression: Extrapolation for Nonlinear Regression?
- Title(参考訳): エングレース:非線形回帰の補間?
- Authors: Xinwei Shen and Nicolai Meinshausen
- Abstract要約: 補間は、トレーニングサポート外のテストデータに遭遇することが一般的であるため、多くの統計学および機械学習アプリケーションにおいて重要である。
本研究の目的は,トレーニングサポートの境界において,信頼性がすぐに崩壊しない非線形回帰手法を提供することである。
我々の主な貢献は「エングレース」と呼ばれる新しい手法であり、その中核となるのは、前加法雑音モデルに対する分布回帰手法である。
- 参考スコア(独自算出の注目度): 5.817576247456002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extrapolation is crucial in many statistical and machine learning
applications, as it is common to encounter test data outside the training
support. However, extrapolation is a considerable challenge for nonlinear
models. Conventional models typically struggle in this regard: while tree
ensembles provide a constant prediction beyond the support, neural network
predictions tend to become uncontrollable. This work aims at providing a
nonlinear regression methodology whose reliability does not break down
immediately at the boundary of the training support. Our primary contribution
is a new method called `engression' which, at its core, is a distributional
regression technique for pre-additive noise models, where the noise is added to
the covariates before applying a nonlinear transformation. Our experimental
results indicate that this model is typically suitable for many real data sets.
We show that engression can successfully perform extrapolation under some
assumptions such as a strictly monotone function class, whereas traditional
regression approaches such as least-squares regression and quantile regression
fall short under the same assumptions. We establish the advantages of
engression over existing approaches in terms of extrapolation, showing that
engression consistently provides a meaningful improvement. Our empirical
results, from both simulated and real data, validate these findings,
highlighting the effectiveness of the engression method. The software
implementations of engression are available in both R and Python.
- Abstract(参考訳): 補間は多くの統計アプリケーションや機械学習アプリケーションにおいて不可欠であり、トレーニングサポートの外でテストデータに遭遇することが一般的である。
しかし、外挿は非線形モデルにとって大きな課題である。
ツリーアンサンブルはサポートを超えて一定の予測を提供するが、ニューラルネットワークの予測は制御不能になりがちである。
本研究の目的は,トレーニングサポートの境界において,信頼性がすぐに崩壊しない非線形回帰手法を提供することである。
我々の主な貢献は'engression'と呼ばれる新しい手法であり、そのコアは、非線形変換を適用する前に共変量体にノイズを付加する前付加型雑音モデルのための分布回帰手法である。
実験結果から,本モデルが多くの実データに適していることが示唆された。
厳密な単調関数クラスのようないくつかの仮定の下では外挿がうまく行え、一方、最小二乗回帰や分位回帰のような従来の回帰アプローチは同じ仮定の下では不足する。
我々は、外挿の観点から既存のアプローチに対するエングレースの利点を確立し、エングレースが一貫して有意義な改善をもたらすことを示す。
シミュレーションデータと実データの両方から得られた実験結果から,本手法の有効性について検証した。
engressionのソフトウェア実装は、RとPythonの両方で利用可能である。
関連論文リスト
- Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。
卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。
我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
論文 参考訳(メタデータ) (2024-04-25T13:56:05Z) - Generalized Regression with Conditional GANs [2.4171019220503402]
本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。
回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
論文 参考訳(メタデータ) (2024-04-21T01:27:47Z) - Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。
ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2~10%向上させる。
論文 参考訳(メタデータ) (2024-02-02T16:35:51Z) - Streaming Active Learning for Regression Problems Using Regression via
Classification [12.572218568705376]
本稿では,回帰学習のためのストリーミング能動学習にレグレッション・ウィズ・クラス化フレームワークを用いることを提案する。
レグレッション・ウィズ・クラス化は回帰問題を分類問題に変換し、ストリーミング能動学習法を回帰問題に直接適用できるようにする。
論文 参考訳(メタデータ) (2023-09-02T20:24:24Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳(メタデータ) (2022-10-15T05:00:20Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware
Regression [91.3373131262391]
不確かさが唯一の確実性である。
伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。
現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
論文 参考訳(メタデータ) (2021-03-25T06:56:09Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。