論文の概要: Distribution Shifts at Scale: Out-of-distribution Detection in Earth Observation
- arxiv url: http://arxiv.org/abs/2412.13394v1
- Date: Wed, 18 Dec 2024 00:10:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:49:49.374413
- Title: Distribution Shifts at Scale: Out-of-distribution Detection in Earth Observation
- Title（参考訳）: 大規模分布変化:地球観測における分布外検出
- Authors: Burak Ekim, Girmaw Abebe Tadesse, Caleb Robinson, Gilles Hacheme, Michael Schmitt, Rahul Dodhia, Juan M. Lavista Ferres,
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)データとは異なる入力を特定するという課題に対処する。
スケーラブルな地理空間展開のためのポストホックOOD検出手法であるTARDISを提案する。
本手法は,事前学習モデル,IDデータWILDサンプル,WILDサンプルを用いて,後者をサロゲートIDに分離し,OODラベルをサロゲートする。
スケーラビリティを示すために、我々はFields of the WorldデータセットにTARDISをデプロイし、大規模デプロイメントのためのトレーニング済みモデルの振る舞いに関する実行可能な洞察を提供する。
- 参考スコア（独自算出の注目度）: 4.457854503856095
- License:
- Abstract: Training robust deep learning models is critical in Earth Observation, where globally deployed models often face distribution shifts that degrade performance, especially in low-data regions. Out-of-distribution (OOD) detection addresses this challenge by identifying inputs that differ from in-distribution (ID) data. However, existing methods either assume access to OOD data or compromise primary task performance, making them unsuitable for real-world deployment. We propose TARDIS, a post-hoc OOD detection method for scalable geospatial deployments. The core novelty lies in generating surrogate labels by integrating information from ID data and unknown distributions, enabling OOD detection at scale. Our method takes a pre-trained model, ID data, and WILD samples, disentangling the latter into surrogate ID and surrogate OOD labels based on internal activations, and fits a binary classifier as an OOD detector. We validate TARDIS on EuroSAT and xBD datasets, across 17 experimental setups covering covariate and semantic shifts, showing that it performs close to the theoretical upper bound in assigning surrogate ID and OOD samples in 13 cases. To demonstrate scalability, we deploy TARDIS on the Fields of the World dataset, offering actionable insights into pre-trained model behavior for large-scale deployments. The code is publicly available at https://github.com/microsoft/geospatial-ood-detection.
- Abstract（参考訳）: 堅牢なディープラーニングモデルのトレーニングは、地球観測において重要であり、グローバルにデプロイされたモデルは、特に低データ領域において、パフォーマンスを低下させる分散シフトに直面していることが多い。
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)データとは異なる入力を識別することでこの問題に対処する。
しかし、既存のメソッドはOODデータへのアクセスを前提とするか、メインタスクのパフォーマンスを損なうため、実際のデプロイメントには適さない。
スケーラブルな地理空間展開のためのポストホックOOD検出手法であるTARDISを提案する。
中心となる新規性は、IDデータと未知の分布からの情報を統合することで代理ラベルを生成することで、大規模にOOD検出を可能にすることである。
本手法では,事前学習したモデル,IDデータ,WILDサンプルを抽出し,内部アクティベーションに基づくSurrogate IDとSurrogate OODラベルに分離し,バイナリ分類器をOOD検出器として適合させる。
我々は,EuroSATおよびxBDデータセット上のTARDISを,共変量および意味的シフトをカバーする17の実験的な設定で検証し,13例で代理IDおよびOODサンプルを割り当てる際の理論的上限に近い性能を示すことを示した。
スケーラビリティを示すために、我々はFields of the WorldデータセットにTARDISをデプロイし、大規模デプロイメントのためのトレーニング済みモデルの振る舞いに関する実行可能な洞察を提供する。
コードはhttps://github.com/microsoft/geospatial-ood-detectionで公開されている。
関連論文リスト
- EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - DIVERSIFY: A General Framework for Time Series Out-of-distribution
Detection and Generalization [58.704753031608625]
時系列は、機械学習研究における最も困難なモダリティの1つである。
時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。
時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
論文 参考訳（メタデータ） (2023-08-04T12:27:11Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - GOOD-D: On Unsupervised Graph Out-Of-Distribution Detection [67.90365841083951]
我々は,OODグラフを検出するための新しいグラフコントラスト学習フレームワークGOOD-Dを開発した。
GOOD-Dは、潜在IDパターンをキャプチャし、異なる粒度のセマンティック不整合に基づいてOODグラフを正確に検出することができる。
教師なしグラフレベルのOOD検出における先駆的な研究として,提案手法と最先端手法を比較した総合的なベンチマークを構築した。
論文 参考訳（メタデータ） (2022-11-08T12:41:58Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - Learning by Erasing: Conditional Entropy based Transferable Out-Of-Distribution Detection [17.31471594748061]
トレーニングとテストシナリオ間の分散シフトを処理するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
既存の方法は、データセット固有の特徴表現やデータ分散をキャプチャするために、再トレーニングを必要とする。
我々は,新しいIDデータセットで再トレーニングする必要がない,DGMに基づく転送可能なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-04-23T10:19:58Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z) - Joint Distribution across Representation Space for Out-of-Distribution
Detection [16.96466730536722]
本稿では,各隠蔽層から生成した潜伏特性を表現空間間の連成分布として利用し,分布内データに対する新たな展望を示す。
まず,隠れ層ごとに分布しない潜在特性に基づいてガウス混合モデル(GMM)を構築し,その後,推定トレースの遷移確率を介してGMMを接続する。
論文 参考訳（メタデータ） (2021-03-23T06:39:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。