論文の概要: Adapting to Continuous Covariate Shift via Online Density Ratio Estimation

• arxiv url: http://arxiv.org/abs/2302.02552v2
• Date: Mon, 27 May 2024 13:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 12:47:48.170052
• Title: Adapting to Continuous Covariate Shift via Online Density Ratio Estimation
• Title（参考訳）: オンライン密度比推定による連続共変量シフトへの適応
• Authors: Yu-Jie Zhang, Zhen-Yu Zhang, Peng Zhao, Masashi Sugiyama,
• Abstract要約: 分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
• 参考スコア（独自算出の注目度）: 64.8027122329609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dealing with distribution shifts is one of the central challenges for modern machine learning. One fundamental situation is the covariate shift, where the input distributions of data change from training to testing stages while the input-conditional output distribution remains unchanged. In this paper, we initiate the study of a more challenging scenario -- continuous covariate shift -- in which the test data appear sequentially, and their distributions can shift continuously. Our goal is to adaptively train the predictor such that its prediction risk accumulated over time can be minimized. Starting with the importance-weighted learning, we show the method works effectively if the time-varying density ratios of test and train inputs can be accurately estimated. However, existing density ratio estimation methods would fail due to data scarcity at each time step. To this end, we propose an online method that can appropriately reuse historical information. Our density ratio estimation method is proven to perform well by enjoying a dynamic regret bound, which finally leads to an excess risk guarantee for the predictor. Empirical results also validate the effectiveness.
• Abstract（参考訳）: 分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 1つの基本的な状況は共変量シフトであり、入力条件の出力分布が変わらない間、データの入力分布がトレーニングからテスト段階に変化する。 本稿では,テストデータが連続的に出現し,その分布が連続的に変化する,より困難なシナリオである連続共変シフトの研究を開始する。 我々の目標は、予測者が時間とともに蓄積される予測リスクを最小限に抑えるように、適応的に予測者を訓練することである。 重み付け学習から始めると、テストと列車の入力の時間変化密度比を正確に推定できる場合、効果的に機能することを示す。 しかし、既存の密度比推定法は各時点におけるデータ不足により失敗する。 そこで本稿では,過去の情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, 動的リフレッシュバウンドを楽しみ, 最終的に予測器の過大なリスク保証につながることが証明された。 実証的な結果も有効性を検証する。

関連論文リスト

• Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
  本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。 ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
  論文  参考訳（メタデータ） (2022-05-22T04:17:30Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Managing dataset shift by adversarial validation for credit scoring [5.560471251954645]
  トレーニングデータの分布と実際に予測する必要があるデータとの矛盾は、モデルパフォーマンスの低下を引き起こす可能性がある。 本稿では,クレジットスコアリングシナリオにおけるデータセットシフト問題を軽減するための,逆検証に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-12-19T07:07:15Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Robust Correction of Sampling Bias Using Cumulative Distribution Functions [19.551668880584973]
  変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。 これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
  論文  参考訳（メタデータ） (2020-10-23T22:13:00Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。