論文の概要: Machine learning meets false discovery rate
- arxiv url: http://arxiv.org/abs/2208.06685v1
- Date: Sat, 13 Aug 2022 17:14:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 14:50:55.205915
- Title: Machine learning meets false discovery rate
- Title(参考訳): 機械学習が誤発見率に到達
- Authors: Ariane Marandon, Lihua Lei, David Mary and Etienne Roquain
- Abstract要約: 本稿では,AdaDetectと呼ばれるFDR制御を用いた適応ノベルティ検出手法を提案する。
AdaDetectはFDRを強く制御し、特定の意味での託宣を模倣する力を持つ。
RFを用いた実世界のデータセットやNNによる画像では特に効率的である。
- 参考スコア(独自算出の注目度): 2.0299248281970956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical false discovery rate (FDR) controlling procedures offer strong and
interpretable guarantees, while they often lack of flexibility. On the other
hand, recent machine learning classification algorithms, as those based on
random forests (RF) or neural networks (NN), have great practical performances
but lack of interpretation and of theoretical guarantees. In this paper, we
make these two meet by introducing a new adaptive novelty detection procedure
with FDR control, called AdaDetect. It extends the scope of recent works of
multiple testing literature to the high dimensional setting, notably the one in
Yang et al. (2021). AdaDetect is shown to both control strongly the FDR and to
have a power that mimics the one of the oracle in a specific sense. The
interest and validity of our approach is demonstrated with theoretical results,
numerical experiments on several benchmark datasets and with an application to
astrophysical data. In particular, while AdaDetect can be used in combination
with any classifier, it is particularly efficient on real-world datasets with
RF, and on images with NN.
- Abstract(参考訳): 古典的な偽発見率(fdr)制御手順は、しばしば柔軟性に欠けるが、強く解釈可能な保証を提供する。
一方、近年の機械学習分類アルゴリズムは、ランダムフォレスト(RF)やニューラルネットワーク(NN)に基づくもので、実用的な性能は高いが、解釈の欠如と理論的保証の欠如がある。
本稿では,fdr制御を用いた適応的新奇性検出手法であるadadetectを導入することで,この2つを満たす。
これは、複数のテスト文献の最近の研究の範囲を高次元の設定にまで広げており、特に Yang et al. (2021) では顕著である。
adadetect は fdr を強く制御し、特定の意味において oracle の 1 を模倣する能力を持つ。
本手法の興味と妥当性は,理論的な結果,いくつかのベンチマークデータセットにおける数値実験,天体物理データへの適用によって実証された。
特に、AdaDetectは任意の分類器と組み合わせて使用することができるが、実世界のRFデータセットやNNの画像では特に効率的である。
関連論文リスト
- Partially-Observable Sequential Change-Point Detection for Autocorrelated Data via Upper Confidence Region [12.645304808491309]
逐次変化点検出のための状態空間モデル(AUCRSS)を用いたアダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・
SSMのオンライン推論のために部分的に観測可能なカルマンフィルタアルゴリズムを開発し、一般化された確率比テストに基づく変化点検出スキームを解析する。
論文 参考訳(メタデータ) (2024-03-30T02:32:53Z) - Hypothesis-Driven Deep Learning for Out of Distribution Detection [0.8191518216608217]
本稿では,新しいサンプルがInDなのかOoDなのかを定量化する仮説駆動型手法を提案する。
細菌のサンプルを学習した深層学習モデルに適応させ,InDとOoDの潜伏反応の解釈的差異を明らかにする。
論文 参考訳(メタデータ) (2024-03-21T01:06:47Z) - On the Universal Adversarial Perturbations for Efficient Data-free
Adversarial Detection [55.73320979733527]
本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。
実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
論文 参考訳(メタデータ) (2023-06-27T02:54:07Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:05:36Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - TracInAD: Measuring Influence for Anomaly Detection [0.0]
本稿では,TracInに基づく異常をフラグする新しい手法を提案する。
本研究では,変分オートエンコーダを用いて,テストポイントにおけるトレーニングポイントのサブサンプルの平均的な影響が,異常のプロキシとして有効であることを示す。
論文 参考訳(メタデータ) (2022-05-03T08:20:15Z) - iDECODe: In-distribution Equivariance for Conformal Out-of-distribution
Detection [24.518698391381204]
ディープニューラルネットワーク(DNN)のような機械学習手法は、しばしば信頼性の高い誤った予測を生成する。
そこで我々は,共形OOD検出に分配同値を用いたiDECODeを提案する。
画像と音声のデータセットを用いた実験により,iDECODeの有効性を実証し,その結果を得た。
論文 参考訳(メタデータ) (2022-01-07T05:21:40Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳(メタデータ) (2021-09-27T01:09:08Z) - Partially Observable Online Change Detection via Smooth-Sparse
Decomposition [16.8028358824706]
本研究は,センサ容量の制限により,各センシング時点におけるデータストリームのサブセットのみを観測できる,疎度な変化を伴う高次元データストリームのオンライン変化検出について考察する。
一方、検出方式は、部分的に観測可能なデータを扱うことができ、一方、スパース変化に対する効率的な検出能力を有するべきである。
本稿では,CDSSDと呼ばれる新しい検出手法を提案する。特にスムーズな分解によるスムーズな変化を伴う高次元データの構造について述べる。
論文 参考訳(メタデータ) (2020-09-22T16:03:04Z) - Change Point Detection in Time Series Data using Autoencoders with a
Time-Invariant Representation [69.34035527763916]
変化点検出(CPD)は、時系列データにおける急激な特性変化を見つけることを目的としている。
近年のCDD法は、深層学習技術を用いる可能性を示したが、信号の自己相関統計学におけるより微妙な変化を識別する能力に欠けることが多い。
我々は、新しい損失関数を持つオートエンコーダに基づく手法を用い、使用済みオートエンコーダは、CDDに適した部分的な時間不変表現を学習する。
論文 参考訳(メタデータ) (2020-08-21T15:03:21Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。