論文の概要: NeuMiss networks: differentiable programming for supervised learning
with missing values
- arxiv url: http://arxiv.org/abs/2007.01627v4
- Date: Wed, 4 Nov 2020 15:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 04:17:06.902547
- Title: NeuMiss networks: differentiable programming for supervised learning
with missing values
- Title（参考訳）: NeuMiss Network: 教師付き学習のための識別可能なプログラミング
- Authors: Marine Le Morvan (PARIETAL, IJCLab), Julie Josse (CMAP, XPOP), Thomas
Moreau (PARIETAL), Erwan Scornet (CMAP), Ga\"el Varoquaux (PARIETAL, MILA)
- Abstract要約: 線形性仮定の下で最適予測器の解析形式を導出する。
我々はNeuMissネットワークという新しい原則アーキテクチャを提案する。
パラメータの数と、欠落したデータパターンの数に依存しない計算複雑性の両方で、予測精度が良い。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The presence of missing values makes supervised learning much more
challenging. Indeed, previous work has shown that even when the response is a
linear function of the complete data, the optimal predictor is a complex
function of the observed entries and the missingness indicator. As a result,
the computational or sample complexities of consistent approaches depend on the
number of missing patterns, which can be exponential in the number of
dimensions. In this work, we derive the analytical form of the optimal
predictor under a linearity assumption and various missing data mechanisms
including Missing at Random (MAR) and self-masking (Missing Not At Random).
Based on a Neumann-series approximation of the optimal predictor, we propose a
new principled architecture, named NeuMiss networks. Their originality and
strength come from the use of a new type of non-linearity: the multiplication
by the missingness indicator. We provide an upper bound on the Bayes risk of
NeuMiss networks, and show that they have good predictive accuracy with both a
number of parameters and a computational complexity independent of the number
of missing data patterns. As a result they scale well to problems with many
features, and remain statistically efficient for medium-sized samples.
Moreover, we show that, contrary to procedures using EM or imputation, they are
robust to the missing data mechanism, including difficult MNAR settings such as
self-masking.
- Abstract（参考訳）: 価値の欠如は教師付き学習をより困難にする。
実際、以前の研究は、応答が完全なデータの線形関数である場合でも、最適予測器は観測されたエントリと不足指標の複素関数であることを示した。
その結果、一貫したアプローチの計算やサンプルの複雑さは、次元の数を指数関数的にできる欠落パターンの数に依存する。
本研究では,線形性仮定の下での最適予測器の解析形式と,ランダム(mar)における欠落や自己マスキング(無作為ではない)を含む様々な欠落データ機構を導出する。
最適予測子のノイマン級数近似に基づいて,ニューミスネットワークと呼ばれる新しい原理アーキテクチャを提案する。
彼らの独創性と強みは、新しいタイプの非線形性、すなわち欠如指標による乗算を使うことによって生まれる。
我々は、NeuMissネットワークのベイズリスクを上限として、多くのパラメータと、欠落したデータパターンの数に依存しない計算複雑性の両方で予測精度が良いことを示す。
その結果、多くの特徴を持つ問題によく対応し、中規模のサンプルでは統計的に効率的である。
さらに,EMや計算処理とは対照的に,自己マスキングなどのMNAR設定が難しいなど,データメカニズムの欠如に対して堅牢であることを示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - MISNN: Multiple Imputation via Semi-parametric Neural Networks [9.594714330925703]
バイオメディカル・ソーシャル・エコノメトリー研究において、多重計算(Multiple Imputation, MI)は、欠落した価値問題に広く応用されている。
提案するMISNNは,MIの特徴選択を取り入れた,新規で効率的なアルゴリズムである。
論文 参考訳（メタデータ） (2023-05-02T21:45:36Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - Minimax rate of consistency for linear models with missing values [0.0]
多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。
本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。
最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
論文 参考訳（メタデータ） (2022-02-03T08:45:34Z) - MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。
MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。
我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2021-11-04T22:38:18Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Bayesian neural networks and dimensionality reduction [4.039245878626346]
そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。
VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。
潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
論文 参考訳（メタデータ） (2020-08-18T17:11:07Z) - Bayesian System ID: Optimal management of parameter, model, and
measurement uncertainty [0.0]
システム識別(ID)の確率的定式化の頑健さを,スパース,ノイズ,間接データに対して評価した。
従来手法の目的関数面と比較して,ログ後部は幾何学的特性が向上したことを示す。
論文 参考訳（メタデータ） (2020-03-04T22:48:30Z) - Linear predictor on linearly-generated data with missing values: non
consistency and solutions [0.0]
本研究では,予測対象が全観測データの線形関数である場合について検討する。
不足する値が存在する場合、最適予測器は線形でない可能性があることを示す。
論文 参考訳（メタデータ） (2020-02-03T11:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。