論文の概要: Engression: Extrapolation for Nonlinear Regression?
- arxiv url: http://arxiv.org/abs/2307.00835v2
- Date: Fri, 15 Sep 2023 13:38:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 18:06:30.101337
- Title: Engression: Extrapolation for Nonlinear Regression?
- Title(参考訳): エングレース:非線形回帰の補間?
- Authors: Xinwei Shen and Nicolai Meinshausen
- Abstract要約: 補間は、トレーニングサポート外のテストデータに遭遇することが一般的であるため、多くの統計学および機械学習アプリケーションにおいて重要である。
本研究の目的は,トレーニングサポートの境界において,信頼性がすぐに崩壊しない非線形回帰手法を提供することである。
我々の主な貢献は「エングレース」と呼ばれる新しい手法であり、その中核となるのは、前加法雑音モデルに対する分布回帰手法である。
- 参考スコア(独自算出の注目度): 2.9761801768136253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extrapolation is crucial in many statistical and machine learning
applications, as it is common to encounter test data outside the training
support. However, extrapolation is a considerable challenge for nonlinear
models. Conventional models typically struggle in this regard: while tree
ensembles provide a constant prediction beyond the support, neural network
predictions tend to become uncontrollable. This work aims at providing a
nonlinear regression methodology whose reliability does not break down
immediately at the boundary of the training support. Our primary contribution
is a new method called `engression' which, at its core, is a distributional
regression technique for pre-additive noise models, where the noise is added to
the covariates before applying a nonlinear transformation. Our experimental
results indicate that this model is typically suitable for many real data sets.
We show that engression can successfully perform extrapolation under some
assumptions such as a strictly monotone function class, whereas traditional
regression approaches such as least-squares regression and quantile regression
fall short under the same assumptions. We establish the advantages of
engression over existing approaches in terms of extrapolation, showing that
engression consistently provides a meaningful improvement. Our empirical
results, from both simulated and real data, validate these findings,
highlighting the effectiveness of the engression method. The software
implementations of engression are available in both R and Python.
- Abstract(参考訳): 補間は多くの統計アプリケーションや機械学習アプリケーションにおいて不可欠であり、トレーニングサポートの外でテストデータに遭遇することが一般的である。
しかし、外挿は非線形モデルにとって大きな課題である。
ツリーアンサンブルはサポートを超えて一定の予測を提供するが、ニューラルネットワークの予測は制御不能になりがちである。
本研究の目的は,トレーニングサポートの境界において,信頼性がすぐに崩壊しない非線形回帰手法を提供することである。
我々の主な貢献は'engression'と呼ばれる新しい手法であり、そのコアは、非線形変換を適用する前に共変量体にノイズを付加する前付加型雑音モデルのための分布回帰手法である。
実験結果から,本モデルが多くの実データに適していることが示唆された。
厳密な単調関数クラスのようないくつかの仮定の下では外挿がうまく行え、一方、最小二乗回帰や分位回帰のような従来の回帰アプローチは同じ仮定の下では不足する。
我々は、外挿の観点から既存のアプローチに対するエングレースの利点を確立し、エングレースが一貫して有意義な改善をもたらすことを示す。
シミュレーションデータと実データの両方から得られた実験結果から,本手法の有効性について検証した。
engressionのソフトウェア実装は、RとPythonの両方で利用可能である。
関連論文リスト
- Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。
ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2~10%向上させる。
論文 参考訳(メタデータ) (2024-02-02T16:35:51Z) - Streaming Active Learning for Regression Problems Using Regression via
Classification [12.572218568705376]
本稿では,回帰学習のためのストリーミング能動学習にレグレッション・ウィズ・クラス化フレームワークを用いることを提案する。
レグレッション・ウィズ・クラス化は回帰問題を分類問題に変換し、ストリーミング能動学習法を回帰問題に直接適用できるようにする。
論文 参考訳(メタデータ) (2023-09-02T20:24:24Z) - Deep Regression Unlearning [6.884272840652062]
我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。
我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
論文 参考訳(メタデータ) (2022-10-15T05:00:20Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware
Regression [91.3373131262391]
不確かさが唯一の確実性である。
伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。
現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
論文 参考訳(メタデータ) (2021-03-25T06:56:09Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z) - Variational Bayesian Unlearning [54.26984662139516]
本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。
消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。
VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
論文 参考訳(メタデータ) (2020-10-24T11:53:00Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳(メタデータ) (2020-05-07T09:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。