論文の概要: Importance Weighting Correction of Regularized Least-Squares for Covariate and Target Shifts

• arxiv url: http://arxiv.org/abs/2210.09709v1
• Date: Tue, 18 Oct 2022 09:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 14:14:03.998622
• Title: Importance Weighting Correction of Regularized Least-Squares for Covariate and Target Shifts
• Title（参考訳）: Covariate と Target シフトに対する正規化最小二乗の重み付け補正
• Authors: Davit Gogolashvili
• Abstract要約: 多くの実世界の問題では、トレーニングデータとテストデータが異なる分布を持つ。 重要重み付け(IW)補正は、データセットシフトの下で学習シナリオに存在するバイアスを修正する普遍的な方法である。 IW補正は、異なるデータセットシフトシナリオに対して等しく有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many real world problems, the training data and test data have different distributions. This situation is commonly referred as a dataset shift. The most common settings for dataset shift often considered in the literature are {\em covariate shift } and {\em target shift}. Importance weighting (IW) correction is a universal method for correcting the bias present in learning scenarios under dataset shift. The question one may ask is: does IW correction work equally well for different dataset shift scenarios? By investigating the generalization properties of the weighted kernel ridge regression (W-KRR) under covariate and target shifts we show that the answer is negative, except when IW is bounded and the model is wellspecified. In the latter cases, a minimax optimal rates are achieved by importance weighted kernel ridge regression (IW-KRR) in both, covariate and target shift scenarios. Slightly relaxing the boundedness condition of the IW we show that the IW-KRR still achieves the optimal rates under target shift while leading to slower rates for covariate shift. In the case of the model misspecification we show that the performance of the W-KRR under covariate shift could be substantially increased by designing an alternative reweighting function. The distinction between misspecified and wellspecified scenarios does not seem to be crucial in the learning problems under target shift.
• Abstract（参考訳）: 現実世界の多くの問題では、トレーニングデータとテストデータは異なる分布を持つ。 この状況は一般にデータセットシフトと呼ばれる。 文献でよく考慮されるデータセットシフトの最も一般的な設定は {\em covariate shift } と {\em target shift} である。 重要重み付け(IW)補正は、データセットシフトの下で学習シナリオに存在するバイアスを修正する普遍的な方法である。 IW補正はさまざまなデータセットシフトシナリオで同じように機能するのか? 共変量および目標シフトの下での重み付き核リッジ回帰(w-krr)の一般化特性を調べることにより、iwが有界でモデルが wellspecificified である場合を除き、答えは負であることが分かる。 後者の場合、最小値の最適値は、重み付けされたカーネルリッジ回帰(IW-KRR)によって、共変量および目標シフトシナリオの両方で達成される。 iwの有界性条件を少し緩和すると、iw-krrは目標シフトの最適速度を達成し、共変量シフトの速度は遅くなることを示した。 モデル不特定の場合, 共変量シフト時のW-KRRの性能は, 代替再重み付け関数を設計することによって著しく向上することを示した。 不特定シナリオと明確に特定されたシナリオの区別は、目標シフト中の学習問題において重要でないように思われる。

関連論文リスト

• When is Importance Weighting Correction Needed for Covariate Shift Adaptation? [15.622171482618805]
  本稿では,教師あり学習における重み付け(IW)補正の必要性について検討する。 古典的な結果は、モデルがパラメトリックで不特定の場合には、IW補正が必要であることを示している。 最近の結果は、モデルが非パラメトリックで適切に特定されている場合、IW補正は不要であることを示している。
  論文  参考訳（メタデータ） (2023-03-07T16:37:30Z)
• Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
  最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。 本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T18:30:22Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• Towards Backwards-Compatible Data with Confounded Domain Adaptation [0.0]
  一般化ラベルシフト(GLS)を変更することで、汎用データの後方互換性を実現する。 本稿では,ソースとターゲット条件分布のばらつきを最小限に抑えた新しい枠組みを提案する。 ガウス逆Kulback-Leibler分散と最大平均誤差を用いた具体的実装を提供する。
  論文  参考訳（メタデータ） (2022-03-23T20:53:55Z)
• PAC Prediction Sets Under Covariate Shift [40.67733209235852]
  基礎となるデータ分布に変化がある場合、不確実性は重要です。 既存の不確実性定量化アルゴリズムの多くは、そのようなシフトの存在下で崩壊する。 本稿では,この課題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-17T23:28:42Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。