論文の概要: Adaptive Optimization for Prediction with Missing Data
- arxiv url: http://arxiv.org/abs/2402.01543v1
- Date: Fri, 2 Feb 2024 16:35:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 14:13:13.750242
- Title: Adaptive Optimization for Prediction with Missing Data
- Title(参考訳): 欠落データを用いた予測のための適応最適化
- Authors: Dimitris Bertsimas, Arthur Delarue, and Jean Pauphilet
- Abstract要約: 適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。
ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2~10%向上させる。
- 参考スコア(独自算出の注目度): 6.800113478497425
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: When training predictive models on data with missing entries, the most widely
used and versatile approach is a pipeline technique where we first impute
missing entries and then compute predictions. In this paper, we view prediction
with missing data as a two-stage adaptive optimization problem and propose a
new class of models, adaptive linear regression models, where the regression
coefficients adapt to the set of observed features. We show that some adaptive
linear regression models are equivalent to learning an imputation rule and a
downstream linear regression model simultaneously instead of sequentially. We
leverage this joint-impute-then-regress interpretation to generalize our
framework to non-linear models. In settings where data is strongly not missing
at random, our methods achieve a 2-10% improvement in out-of-sample accuracy.
- Abstract(参考訳): 欠落したエントリを持つデータで予測モデルをトレーニングする場合、最も広く使われ、多用途なアプローチは、欠落したエントリを最初に入力し、次に予測を計算するパイプラインテクニックです。
本稿では,データの欠落による予測を2段階適応最適化問題として捉え,回帰係数が観測された特徴の集合に適応する新しいモデルである適応線形回帰モデルを提案する。
いくつかの適応線形回帰モデルは、逐次的ではなくインプテーション則と下流線形回帰モデルを同時に学習することと同値であることを示す。
我々は,非線形モデルへの枠組みを一般化するために,この共役-共役-共役-相反解釈を利用する。
ランダムにデータの欠落が強くない環境では,本手法はサンプルの精度を2~10%向上させる。
関連論文リスト
- Engression: Extrapolation for Nonlinear Regression? [2.9761801768136253]
補間は、トレーニングサポート外のテストデータに遭遇することが一般的であるため、多くの統計学および機械学習アプリケーションにおいて重要である。
本研究の目的は,トレーニングサポートの境界において,信頼性がすぐに崩壊しない非線形回帰手法を提供することである。
我々の主な貢献は「エングレース」と呼ばれる新しい手法であり、その中核となるのは、前加法雑音モデルに対する分布回帰手法である。
論文 参考訳(メタデータ) (2023-07-03T08:19:00Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳(メタデータ) (2023-04-20T07:29:23Z) - Prediction Intervals and Confidence Regions for Symbolic Regression
Models based on Likelihood Profiles [0.0]
回帰モデルの不確実性の定量化は、モデルの解釈と意思決定にとって重要である。
線形近似といわゆる確率プロファイルは、信頼度と予測間隔の計算においてよく知られた可能性である。
これらの単純で効果的な手法は、遺伝子プログラミングの文献で完全に無視されている。
論文 参考訳(メタデータ) (2022-09-14T07:07:55Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - Variation-Incentive Loss Re-weighting for Regression Analysis on Biased
Data [8.115323786541078]
モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。
回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
論文 参考訳(メタデータ) (2021-09-14T10:22:21Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳(メタデータ) (2020-12-21T06:40:20Z) - Nested Model Averaging on Solution Path for High-dimensional Linear
Regression [12.173071615025504]
本研究では,高次元線形回帰問題に対するネストモデル平均化法について検討した。
モデル平均化と正規化推定器(例えば、ラッソとSLOPE)を高次元線形回帰の解経路上で組み合わせることを提案する。
米国における一人当たりの暴力犯罪の予測に関する実際のデータ分析は、ラッソで平均化するネストされたモデルの優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2020-05-16T18:09:57Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳(メタデータ) (2020-05-07T09:26:14Z) - Optimal Feature Manipulation Attacks Against Linear Regression [64.54500628124511]
本稿では,データセットに慎重に設計した有害なデータポイントを付加したり,元のデータポイントを修正したりすることで,線形回帰による係数の操作方法について検討する。
エネルギー予算を考慮し, 目標が指定された回帰係数を1つ変更する場合に, 最適毒素データ点の閉形式解をまず提示する。
次に、攻撃者が1つの特定の回帰係数を変更しつつ、他をできるだけ小さく変更することを目的とした、より困難なシナリオに分析を拡張します。
論文 参考訳(メタデータ) (2020-02-29T04:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。