論文の概要: Double Descent Meets Out-of-Distribution Detection: Theoretical Insights and Empirical Analysis on the role of model complexity
- arxiv url: http://arxiv.org/abs/2411.02184v2
- Date: Tue, 27 May 2025 09:44:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 14:37:18.851185
- Title: Double Descent Meets Out-of-Distribution Detection: Theoretical Insights and Empirical Analysis on the role of model complexity
- Title（参考訳）: Double Descent, Out-of-Distribution Detection:理論的考察とモデル複雑度の役割に関する実証分析
- Authors: Mouïn Ben Ammar, David Brellmann, Arturo Mendoza, Antoine Manzanera, Gianni Franchi,
- Abstract要約: 機械学習システムの信頼性と安全性を確保するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,モデルのトレーニング手順や目的を変更することなくOODサンプルを識別できるポストホックなOOD検出に焦点をあてる。
- 参考スコア（独自算出の注目度）: 2.206582444513284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection is essential for ensuring the reliability and safety of machine learning systems. In recent years, it has received increasing attention, particularly through post-hoc detection and training-based methods. In this paper, we focus on post-hoc OOD detection, which enables identifying OOD samples without altering the model's training procedure or objective. Our primary goal is to investigate the relationship between model capacity and its OOD detection performance. Specifically, we aim to answer the following question: Does the Double Descent phenomenon manifest in post-hoc OOD detection? This question is crucial, as it can reveal whether overparameterization, which is already known to benefit generalization, can also enhance OOD detection. Despite the growing interest in these topics by the classic supervised machine learning community, this intersection remains unexplored for OOD detection. We empirically demonstrate that the Double Descent effect does indeed appear in post-hoc OOD detection. Furthermore, we provide theoretical insights to explain why this phenomenon emerges in such setting. Finally, we show that the overparameterized regime does not yield superior results consistently, and we propose a method to identify the optimal regime for OOD detection based on our observations.
- Abstract（参考訳）: 機械学習システムの信頼性と安全性を確保するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
近年、特にポストホック検出やトレーニングベースの手法によって注目されている。
本稿では,モデルのトレーニング手順や目的を変更することなくOODサンプルを識別できるポストホックなOOD検出に焦点をあてる。
我々の第一の目的は、モデルキャパシティとOOD検出性能の関係を調べることである。
具体的には,Double Descent現象がポストホックOOD検出に現れるか,という疑問に答える。
この問題は、既に一般化の恩恵を受けているオーバーパラメータ化がOOD検出を増強できるかどうかを明らかにするために重要である。
古典的な教師付き機械学習コミュニティによるこれらのトピックへの関心が高まっているにもかかわらず、この交差点はOOD検出のために探索されていない。
我々は、二重蛍光効果がポストホックOOD検出に実際に現れることを実証的に実証した。
さらに、このような状況でなぜこの現象が現れるのかを説明するための理論的洞察を提供する。
最後に、過度パラメータ化された状態は、常に優れた結果を得られないことを示すとともに、観測結果に基づいて、OOD検出の最適な状態を特定する方法を提案する。
関連論文リスト
- The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。
我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
論文 参考訳（メタデータ） (2024-10-12T07:02:04Z) - Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。
提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
論文 参考訳（メタデータ） (2024-07-23T12:28:59Z) - Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。
IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。
本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
論文 参考訳（メタデータ） (2024-04-24T03:25:53Z) - Detecting Out-of-Distribution Through the Lens of Neural Collapse [7.04686607977352]
安全なデプロイメントには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
既存の検出器は、一般化の相違とコストの懸念を示す。
我々はニューラル崩壊の傾向にインスパイアされた、高度に多用途で効率的なOOD検出器を提案する。
論文 参考訳（メタデータ） (2023-11-02T05:18:28Z) - NECO: NEural Collapse Based Out-of-distribution detection [2.4958897155282282]
OOD検出のための新しいポストホック法NECOを紹介する。
実験の結果,NECOは小型・大規模OOD検出タスクの両方を達成できた。
OOD検出における本手法の有効性を理論的に説明する。
論文 参考訳（メタデータ） (2023-10-10T17:53:36Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - On the Impact of Spurious Correlation for Out-of-distribution Detection [14.186776881154127]
我々は、不変性と環境特性の両方を考慮して、データシフトをモデル化し、新しい形式化を提案する。
その結果, トレーニングセットにおいて, 突発的特徴とラベルの相関が大きくなると, 検出性能が著しく悪化することが示唆された。
論文 参考訳（メタデータ） (2021-09-12T23:58:17Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。
emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。
提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
論文 参考訳（メタデータ） (2021-02-09T21:04:44Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z) - Detecting Out-of-Distribution Examples with In-distribution Examples and
Gram Matrices [8.611328447624679]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(Out-of-Distribution)の例で示すと、信頼性と誤った予測をもたらす。
本稿では,行動パターンとクラス予測の不整合を識別し,OODのサンプルを検出することを提案する。
グラム行列による活動パターンの特徴付けとグラム行列値の異常の同定により,高いOOD検出率が得られることがわかった。
論文 参考訳（メタデータ） (2019-12-28T19:44:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。