論文の概要: Prediction with Incomplete Data under Agnostic Mask Distribution Shift

• arxiv url: http://arxiv.org/abs/2305.11197v1
• Date: Thu, 18 May 2023 14:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 17:58:39.532539
• Title: Prediction with Incomplete Data under Agnostic Mask Distribution Shift
• Title（参考訳）: マスク分布シフトによる不完全データの予測
• Authors: Yichen Zhu, Jian Yuan, Bo Jiang, Tao Lin, Haiming Jin, Xinbing Wang, Chenghu Zhou
• Abstract要約: 分布シフトが存在する場合,不完全なデータによる予測について検討する。 我々は各マスクに対して、不変な最適予測器が存在するという観測を活用している。 本稿では,StableMissと呼ばれる新しい予測手法を提案する。
• 参考スコア（独自算出の注目度）: 35.86200694774949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data with missing values is ubiquitous in many applications. Recent years have witnessed increasing attention on prediction with only incomplete data consisting of observed features and a mask that indicates the missing pattern. Existing methods assume that the training and testing distributions are the same, which may be violated in real-world scenarios. In this paper, we consider prediction with incomplete data in the presence of distribution shift. We focus on the case where the underlying joint distribution of complete features and label is invariant, but the missing pattern, i.e., mask distribution may shift agnostically between training and testing. To achieve generalization, we leverage the observation that for each mask, there is an invariant optimal predictor. To avoid the exponential explosion when learning them separately, we approximate the optimal predictors jointly using a double parameterization technique. This has the undesirable side effect of allowing the learned predictors to rely on the intra-mask correlation and that between features and mask. We perform decorrelation to minimize this effect. Combining the techniques above, we propose a novel prediction method called StableMiss. Extensive experiments on both synthetic and real-world datasets show that StableMiss is robust and outperforms state-of-the-art methods under agnostic mask distribution shift.
• Abstract（参考訳）: 値が欠けているデータは、多くのアプリケーションでユビキタスです。 近年、観察された特徴と欠落パターンを示すマスクからなる不完全なデータのみによる予測に注目が集まっている。 既存の手法では、トレーニングとテストの分布は同じであり、実際のシナリオでは違反する可能性があると仮定している。 本稿では,分布シフトを考慮した不完全データを用いた予測について検討する。 完全特徴とラベルの結合分布が不変な場合に焦点を当てるが,マスク分布の欠如は,トレーニングとテストの間に不可知的に変化する可能性がある。 一般化を達成するために,各マスクに対して不変最適予測器が存在するという観測結果を活用する。 個別に学習する際の指数的爆発を避けるため, 2重パラメータ化手法を用いて最適予測器を共同で近似した。 これは、学習した予測者がマスク内相関と特徴とマスクの間の関係を頼れるようにすることで望ましくない副作用である。 我々はこの効果を最小限に抑えるために相関を解除する。 以上の手法を組み合わせることで,StableMissと呼ばれる新しい予測手法を提案する。 合成データと実世界のデータセットの両方に関する広範囲な実験により、stablemissは堅牢であり、マスクの分布シフトによらず最先端の手法よりも優れていることが示された。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Boosted Control Functions [10.503777692702952]
  本研究の目的は,因果効果推定と予測タスクのギャップを埋めることである。 我々は,機械学習の分布場と同時方程式モデル,およびエコノメティクスの制御関数との新たな接続を確立する。 このフレームワーク内では、予測モデルに対する不変性の強い概念を提案し、それを既存の(ウィーカー)バージョンと比較する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Coherent False Seizure Prediction in Epilepsy, Coincidence or Providence? [0.2770822269241973]
  機械学習を用いた清水予測は可能であるが、その性能は理想的ではない。 本稿では,長期データセット上での2つのアルゴリズムの誤報と誤報について検討する。
  論文  参考訳（メタデータ） (2021-10-26T10:25:14Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Variance-reduced Language Pretraining via a Mask Proposal Network [5.819397109258169]
  自己指導型学習(英: self-supervised learning, a.k.a.)は、自然言語処理において重要である。 本稿では,勾配分散低減の観点から問題に取り組む。 そこで我々は,マスク提案の最適分布を近似したMAsk Network(MAPNet)を導入した。
  論文  参考訳（メタデータ） (2020-08-12T14:12:32Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)
• Masking schemes for universal marginalisers [1.0412114420493723]
  本研究は,ユニバーサル・サマリヤのトレーニングにおける構造に依存しないマスキング・スキームの効果について考察する。 予測性能と一般化特性の観点から異なるマスキングスキームで訓練されたネットワークを比較した。
  論文  参考訳（メタデータ） (2020-01-16T15:35:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。