論文の概要: Consistent Validation for Predictive Methods in Spatial Settings

• arxiv url: http://arxiv.org/abs/2402.03527v2
• Date: Thu, 23 May 2024 19:52:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 23:16:57.536101
• Title: Consistent Validation for Predictive Methods in Spatial Settings
• Title（参考訳）: 空間設定における予測手法の一貫性検証
• Authors: David R. Burt, Yunyi Shen, Tamara Broderick,
• Abstract要約: 空間予測タスクは 天気予報や大気汚染の研究 その他の科学的取り組みの鍵です 検証のための古典的なアプローチでは、バリデーションで利用可能な場所と、予測したい場所(テスト)の間のミスマッチを処理できません。 我々は、検証データが任意に密になるにつれて、検証が任意に正確になる検証方法を定式化する。
• 参考スコア（独自算出の注目度）: 17.44650272751289
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Spatial prediction tasks are key to weather forecasting, studying air pollution, and other scientific endeavors. Determining how much to trust predictions made by statistical or physical methods is essential for the credibility of scientific conclusions. Unfortunately, classical approaches for validation fail to handle mismatch between locations available for validation and (test) locations where we want to make predictions. This mismatch is often not an instance of covariate shift (as commonly formalized) because the validation and test locations are fixed (e.g., on a grid or at select points) rather than i.i.d. from two distributions. In the present work, we formalize a check on validation methods: that they become arbitrarily accurate as validation data becomes arbitrarily dense. We show that classical and covariate-shift methods can fail this check. We instead propose a method that builds from existing ideas in the covariate-shift literature, but adapts them to the validation data at hand. We prove that our proposal passes our check. And we demonstrate its advantages empirically on simulated and real data.
• Abstract（参考訳）: 空間予測タスクは、天気予報、大気汚染の研究、その他の科学的取り組みの鍵となる。 統計的または物理的手法による予測をどの程度信頼するかを決定することは、科学的結論の信頼性に不可欠である。 残念ながら、バリデーションのための古典的なアプローチでは、バリデーションで利用可能な場所と、予測したい場所(テスト)との間のミスマッチを処理できません。 このミスマッチは、2つの分布の単位ではなく、検証とテストの場所が固定されている(例えば、格子上や選択点)ため、共変量シフトの例ではない(一般に形式化されている)。 本研究は,検証データが任意に密集するにつれて,任意に正確になる検証方法のチェックを形式化する。 古典的および共変量シフト法がこのチェックに失敗する可能性があることを示す。 その代わりに、共変量シフト文学における既存のアイデアから構築する手法を提案するが、それらを手元にある検証データに適応させる。 私たちは提案がチェックに合格したことを証明します。 そして、シミュレーションと実データにその利点を実証的に示す。

関連論文リスト

• Classification under Nuisance Parameters and Generalized Label Shift in Likelihood-Free Inference [3.507509142413452]
  本稿では,不確実性定量化のための新しい手法を提案する。 提案手法は,ドメイン適応能力を持つ事前学習型分類器を効果的に提供し,高出力を維持しながら有効な予測セットを返却する。 現実的な力学モデルから得られたデータを用いて、生物学と天体物理学における2つの挑戦的な科学的問題に対して、その性能を実証する。
  論文  参考訳（メタデータ） (2024-02-08T00:12:18Z)
• STL: Surprisingly Tricky Logic (for System Validation) [0.04301276597844757]
  検証正当性を決定する上では,仕様書の真正性,形式的手法に精通した被験者の親密性,教育水準が重要な要因であることが判明した。 参加者は肯定バイアスを示し、有効仕様の精度は大幅に向上したが、無効仕様の精度は著しく低下した。
  論文  参考訳（メタデータ） (2023-05-26T21:01:26Z)
• Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
  分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
  論文  参考訳（メタデータ） (2023-02-06T04:03:33Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Managing dataset shift by adversarial validation for credit scoring [5.560471251954645]
  トレーニングデータの分布と実際に予測する必要があるデータとの矛盾は、モデルパフォーマンスの低下を引き起こす可能性がある。 本稿では,クレジットスコアリングシナリオにおけるデータセットシフト問題を軽減するための,逆検証に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-12-19T07:07:15Z)
• Tune it the Right Way: Unsupervised Validation of Domain Adaptation via Soft Neighborhood Density [125.64297244986552]
  本稿では,点間の類似度分布のエントロピーを計算し,ソフト近傍の密度を測定する教師なし検証基準を提案する。 私たちの基準は、競合する検証方法よりもシンプルですが、より効果的です。
  論文  参考訳（メタデータ） (2021-08-24T17:41:45Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。