論文の概要: A Large-scale Study on Unsupervised Outlier Model Selection: Evaluating the Internal Model Evaluation Strategies

• arxiv url: http://arxiv.org/abs/2104.01422v1
• Date: Sat, 3 Apr 2021 14:56:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 12:13:01.953272
• Title: A Large-scale Study on Unsupervised Outlier Model Selection: Evaluating the Internal Model Evaluation Strategies
• Title（参考訳）: 教師なし外乱モデル選択に関する大規模研究:内部モデル評価戦略の評価
• Authors: Martin Q. Ma, Yue Zhao, Xiaorong Zhang, Leman Akoglu
• Abstract要約: 異常検出のためのモデル選択における内部モデル評価戦略の適用可能性について検討した。 モデルw.r.tを区別する能力に関する7つの異なる戦略を評価します。 ラベルを使わずに 性能を検知する
• 参考スコア（独自算出の注目度）: 12.698430560442123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given an unsupervised outlier detection task, how should one select a detection algorithm as well as its hyperparameters (jointly called a model)? Unsupervised model selection is notoriously difficult, in the absence of hold-out validation data with ground-truth labels. Therefore, the problem is vastly understudied. In this work, we study the feasibility of employing internal model evaluation strategies for selecting a model for outlier detection. These so-called internal strategies solely rely on the input data (without labels) and the output (outlier scores) of the candidate models. We setup (and open-source) a large testbed with 39 detection tasks and 297 candidate models comprised of 8 detectors and various hyperparameter configurations. We evaluate 7 different strategies on their ability to discriminate between models w.r.t. detection performance, without using any labels. Our study reveals room for progress -- we find that none would be practically useful, as they select models only comparable to a state-of-the-art detector (with random configuration).
• Abstract（参考訳）: 教師なしの外れ値検出タスクが与えられたら、どうやって検出アルゴリズムとハイパーパラメータ(共同でモデルと呼ぶ)を選択するべきか? 非教師なしモデル選択は、接地トラスラベルによるホールドアウト検証データがないことで悪名高い。 そのため、この問題は非常に未解決である。 本研究では,外乱検出のためのモデル選択のための内部モデル評価戦略の適用可能性について検討する。 これらのいわゆる内部戦略は、(ラベルなしで)入力データと候補モデルの出力(外部スコア)にのみ依存する。 39の検知タスクと8つの検出器と様々なハイパーパラメータ構成からなる297の候補モデルを備えた大規模なテストベッドをセットアップ(およびオープンソース化)する。 モデルw.r.tの識別能力に関する7つの異なる戦略を評価する。 ラベルを使わずに 性能を検出する 我々の研究は進歩の余地を明らかにします -- 彼らは(ランダムな構成で)最先端の検出器に匹敵するモデルを選択するので、実際は役に立ちません。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• A Lightweight Video Anomaly Detection Model with Weak Supervision and Adaptive Instance Selection [14.089888316857426]
  本稿では,弱教師付きビデオ異常検出に焦点をあてる。 我々は,軽量なビデオ異常検出モデルを開発した。 我々のモデルは、最先端の手法と比較して、AUCのスコアに匹敵するか、さらに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-09T01:23:08Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Unsupervised Model Selection for Time-series Anomaly Detection [7.8027110514393785]
  提案手法は, 予測誤差, モデル中心性, および, 注入された合成異常に対する性能の3種類のサロゲート(教師なし)メトリクスを同定する。 我々は、厳密なランク集約問題として、複数の不完全なサロゲート指標との計量結合を定式化する。 複数の実世界のデータセットに対する大規模な実験は、我々の提案した教師なしアプローチが、最も正確なモデルを選択するのと同じくらい効果的であることを示す。
  論文  参考訳（メタデータ） (2022-10-03T16:49:30Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Time Series Anomaly Detection with label-free Model Selection [0.6303112417588329]
  ラベルのない時系列データに対するラベルなしモデル選択を用いた新しい異常検出アルゴリズムであるLaF-ADを提案する。 我々のアルゴリズムは容易に並列化可能であり、不条件データや季節データに対してより堅牢であり、多数の異常モデルに対して非常にスケーラブルである。
  論文  参考訳（メタデータ） (2021-06-11T00:21:06Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• Minimax Active Learning [61.729667575374606]
  アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。 現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。 我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-12-18T19:03:40Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Automating Outlier Detection via Meta-Learning [37.736124230543865]
  メタ学習をベースとした,Overier検出のためのモデル選択のための,最初の原則付きデータ駆動型アプローチであるMetaODを開発した。 検出モデルの選択におけるMetaODの有効性を示す。 この新しい問題をさらに研究するために、私たちはメタラーニングシステム全体、ベンチマーク環境、テストベッドデータセットをオープンソース化しました。
  論文  参考訳（メタデータ） (2020-09-22T15:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。