論文の概要: Imputation-Free Learning from Incomplete Observations

• arxiv url: http://arxiv.org/abs/2107.01983v1
• Date: Mon, 5 Jul 2021 12:44:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 18:25:17.672452
• Title: Imputation-Free Learning from Incomplete Observations
• Title（参考訳）: 不完全観測によるインプテーションフリー学習
• Authors: Qitong Gao, Dong Wang, Joshua D. Amason, Siyang Yuan, Chenyang Tao, Ricardo Henao, Majda Hadziahmetovic, Lawrence Carin, Miroslav Pajic
• Abstract要約: 本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
• 参考スコア（独自算出の注目度）: 73.15386629370111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although recent works have developed methods that can generate estimations (or imputations) of the missing entries in a dataset to facilitate downstream analysis, most depend on assumptions that may not align with real-world applications and could suffer from poor performance in subsequent tasks. This is particularly true if the data have large missingness rates or a small population. More importantly, the imputation error could be propagated into the prediction step that follows, causing the gradients used to train the prediction models to be biased. Consequently, in this work, we introduce the importance guided stochastic gradient descent (IGSGD) method to train multilayer perceptrons (MLPs) and long short-term memories (LSTMs) to directly perform inference from inputs containing missing values without imputation. Specifically, we employ reinforcement learning (RL) to adjust the gradients used to train the models via back-propagation. This not only reduces bias but allows the model to exploit the underlying information behind missingness patterns. We test the proposed approach on real-world time-series (i.e., MIMIC-III), tabular data obtained from an eye clinic, and a standard dataset (i.e., MNIST), where our imputation-free predictions outperform the traditional two-step imputation-based predictions using state-of-the-art imputation methods.
• Abstract（参考訳）: 最近の研究では、ダウンストリーム分析を容易にするためにデータセットの欠落したエントリ(またはインプテーション)を生成できる方法が開発されているが、ほとんどは実際のアプリケーションと一致せず、その後のタスクでパフォーマンスが悪いという仮定に依存している。 これは、データが欠落率が大きいか、人口が少ない場合に特に当てはまる。 さらに重要なことに、インプテーションエラーは次の予測ステップに伝播し、予測モデルのトレーニングに使用される勾配がバイアスになる可能性がある。 そこで本研究では,多層パーセプトロン (mlps) とlong short-term memories (lstms) を訓練し,インプテーションを使わずに欠落値を含む入力から直接推測を行うための,igsgd法の重要性について述べる。 具体的には、バックプロパゲーションによるモデルのトレーニングに使用する勾配を調整するために強化学習(RL)を用いる。 これはバイアスを減らすだけでなく、モデルが不足パターンの背後にある基盤となる情報を利用することを可能にする。 提案手法は, 実世界の時系列(MIMIC-III), アイクリニックから得られた表データ, および標準データセット(MNIST)で検証し, 従来の2段階計算に基づく予測よりも高い精度で予測できることを示した。

関連論文リスト

• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning [28.059563581973432]
  LLM(Large Language Models)は、事前トレーニング中に機密性のある、プライベートな、あるいは著作権のあるデータを持つことが多い。 LLMは、事前学習されたモデルから望ましくないデータの影響を取り除くことを目的としている。 我々は、ターゲットデータセットを効率的に解放できる単純なアライメントにインスパイアされた方法として、NPO(Negative Preference Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-04-08T21:05:42Z)
• Random features models: a way to study the success of naive imputation [0.0]
  これは、欠落したデータを扱うための最初の使い易いテクニックである。 最近の研究は、このバイアスが高次元線形予測器の文脈で低いことを示唆している。 本稿は, 偏見が無視可能であり, 意外なナイーブな計算も極めて低次元で関連している,という直感を裏付けるものである。
  論文  参考訳（メタデータ） (2024-02-06T09:37:06Z)
• PROMISSING: Pruning Missing Values in Neural Networks [0.0]
  本稿では,ニューラルネットワークの学習と推論の段階において,欠落値(PROMISSing)を抽出する,シンプルで直感的かつ効果的な手法を提案する。 実験の結果, ProMISSing は様々な計算手法と比較して予測性能が良くなることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T15:37:27Z)
• MissDAG: Causal Discovery in the Presence of Missing Data with Continuous Additive Noise Models [78.72682320019737]
  不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。 MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。 各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
  論文  参考訳（メタデータ） (2022-05-27T09:59:46Z)
• On the Implicit Bias of Gradient Descent for Temporal Extrapolation [32.93066466540839]
  リカレントニューラルネットワーク(RNN)を使用する一般的なプラクティスは、トレーニングで見られるものよりも長いシーケンスにモデルを適用することだ。 無限のトレーニングデータであっても、完全に補間するRNNモデルが存在することを示す。 次に、勾配降下をトレーニングに用いた場合、学習は完全な外挿に収束することを示す。
  論文  参考訳（メタデータ） (2022-02-09T06:28:37Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Time-Series Imputation with Wasserstein Interpolation for Optimal Look-Ahead-Bias and Variance Tradeoff [66.59869239999459]
  ファイナンスでは、ポートフォリオ最適化モデルをトレーニングする前に、損失の計算を適用することができる。 インキュベーションのために全データセットを使用するルックアヘッドバイアスと、トレーニングデータのみを使用することによるインキュベーションの大きなばらつきとの間には、本質的にトレードオフがある。 提案手法は,提案法における差分とルックアヘッドバイアスのトレードオフを最適に制御するベイズ後部コンセンサス分布である。
  論文  参考訳（メタデータ） (2021-02-25T09:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。