論文の概要: phepy: Visual Benchmarks and Improvements for Out-of-Distribution Detectors

• arxiv url: http://arxiv.org/abs/2503.05169v1
• Date: Fri, 07 Mar 2025 06:25:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:21:40.766744
• Title: phepy: Visual Benchmarks and Improvements for Out-of-Distribution Detectors
• Title（参考訳）: phepy: Visual BenchmarksとOut-of-Distribution Detectorの改善
• Authors: Juniper Tyree, Andreas Rupp, Petri S. Clusius, Michael H. Boy,
• Abstract要約: 実世界のデータセット上でのOOD検出手法のテストは、入力がID(In-distriion)またはOOD(OOD)であるあいまいさによって複雑である。 OOD検出のためのベンチマークを設計する。 我々は,ID-OOD境界における監視検出器の精度を高めるために,$t$-pokingとOODサンプル重み付けという2つの改良点を導入した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Applying machine learning to increasingly high-dimensional problems with sparse or biased training data increases the risk that a model is used on inputs outside its training domain. For such out-of-distribution (OOD) inputs, the model can no longer make valid predictions, and its error is potentially unbounded. Testing OOD detection methods on real-world datasets is complicated by the ambiguity around which inputs are in-distribution (ID) or OOD. We design a benchmark for OOD detection, which includes three novel and easily-visualisable toy examples. These simple examples provide direct and intuitive insight into whether the detector is able to detect (1) linear and (2) non-linear concepts and (3) identify thin ID subspaces (needles) within high-dimensional spaces (haystacks). We use our benchmark to evaluate the performance of various methods from the literature. Since tactile examples of OOD inputs may benefit OOD detection, we also review several simple methods to synthesise OOD inputs for supervised training. We introduce two improvements, $t$-poking and OOD sample weighting, to make supervised detectors more precise at the ID-OOD boundary. This is especially important when conflicts between real ID and synthetic OOD sample blur the decision boundary. Finally, we provide recommendations for constructing and applying out-of-distribution detectors in machine learning.
• Abstract（参考訳）: スパースやバイアスドトレーニングデータによる高次元問題への機械学習の適用は、トレーニング領域外の入力にモデルが使用されるリスクを増大させる。 このようなアウト・オブ・ディストリビューション(OOD)入力では、モデルはもはや有効な予測を行うことができなくなり、そのエラーは潜在的に非バウンドである。 実世界のデータセット上でのOOD検出手法のテストは、入力がID(In-distriion)またはOOD(OOD)であるあいまいさによって複雑である。 OOD検出のためのベンチマークを設計する。 これらの単純な例は、(1)線形、(2)非線形の概念、(3)高次元空間 (haystacks) 内の細いID部分空間 (needles) を検出できるかどうかを直接的かつ直感的な洞察を与える。 文献から様々な手法の性能を評価するために,我々のベンチマークを用いた。 OODインプットの触覚的な例はOOD検出に有用である可能性があるため、教師付きトレーニングのためにOODインプットを合成するためのいくつかの簡単な方法についてもレビューする。 我々は,ID-OOD境界における監視検出器の精度を高めるために,$t$-pokingとOODサンプル重み付けという2つの改良点を導入した。 これは、実際のIDと合成OODサンプルの衝突が決定境界を曖昧にするときに特に重要である。 最後に,機械学習におけるアウト・オブ・ディストリビューション検出器の構築と適用を推奨する。

関連論文リスト

• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources [73.28967478098107]
  アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。 通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。 本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:26:52Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。 本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。 提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-24T18:50:49Z)
• Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
  アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。 現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。 これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。 我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
  論文  参考訳（メタデータ） (2023-02-21T21:31:20Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Training OOD Detectors in their Natural Habitats [31.565635192716712]
  アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。 近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。 我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:38:39Z)
• DOODLER: Determining Out-Of-Distribution Likelihood from Encoder Reconstructions [6.577622354490276]
  本稿では,Of-Distribution Detectionのための新しい手法であるDOODLERを紹介し,検討する。 変分オートエンコーダを他のディープラーニングモデルと同じデータでトレーニングすることにより、VAEは、ID(In-Distribution)入力を正確に再構築することを学ぶが、OOD入力は再構築しない。 この分野の他の研究とは異なり、DOODLERはOODデータセットの存在について非常に弱い仮定しか必要とせず、より現実的なアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2021-09-27T14:54:55Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。