論文の概要: Scalable Ensemble Diversification for OOD Generalization and Detection

• arxiv url: http://arxiv.org/abs/2409.16797v1
• Date: Wed, 25 Sep 2024 10:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 04:30:14.874672
• Title: Scalable Ensemble Diversification for OOD Generalization and Detection
• Title（参考訳）: OODの一般化と検出のためのスケーラブルなアンサンブル多様化
• Authors: Alexander Rubinstein, Luca Scimeca, Damien Teney, Seong Joon Oh,
• Abstract要約: SEDは、ハエのハードトレーニングサンプルを特定し、アンサンブルメンバーにこれらについて意見の一致を奨励する。 モデル間でのペアの相違を解消する既存の方法において,コストのかかる計算を避ける方法を示す。 OODの一般化のために,出力空間(古典的)アンサンブルや重量空間アンサンブル(モデルスープ)など,複数の環境での多様化による大きなメリットを観察する。
• 参考スコア（独自算出の注目度）: 68.8982448081223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training a diverse ensemble of models has several practical applications such as providing candidates for model selection with better out-of-distribution (OOD) generalization, and enabling the detection of OOD samples via Bayesian principles. An existing approach to diverse ensemble training encourages the models to disagree on provided OOD samples. However, the approach is computationally expensive and it requires well-separated ID and OOD examples, such that it has only been demonstrated in small-scale settings. $\textbf{Method.}$ This work presents a method for Scalable Ensemble Diversification (SED) applicable to large-scale settings (e.g. ImageNet) that does not require OOD samples. Instead, SED identifies hard training samples on the fly and encourages the ensemble members to disagree on these. To improve scaling, we show how to avoid the expensive computations in existing methods of exhaustive pairwise disagreements across models. $\textbf{Results.}$ We evaluate the benefits of diversification with experiments on ImageNet. First, for OOD generalization, we observe large benefits from the diversification in multiple settings including output-space (classical) ensembles and weight-space ensembles (model soups). Second, for OOD detection, we turn the diversity of ensemble hypotheses into a novel uncertainty score estimator that surpasses a large number of OOD detection baselines. Code is available here: https://github.com/AlexanderRubinstein/diverse-universe-public.
• Abstract（参考訳）: 多様なモデルのアンサンブルの訓練には、より良いアウト・オブ・ディストリビューション(OOD)の一般化によるモデル選択候補の提供や、ベイズ原理によるOODサンプルの検出など、いくつかの実践的な応用がある。 多様なアンサンブルトレーニングに対する既存のアプローチは、モデルが提供されたOODサンプルに異を唱えることを奨励している。 しかし、この手法は計算コストが高く、小規模な設定でしか示されていないような、よく区切られたIDとOODの例を必要とする。 $\textbf{Method。 この研究は、OODサンプルを必要としない大規模な設定(例えば ImageNet)に適用可能な、スケーラブルなアンサンブル多様化(SED)の方法を提示します。 代わりにSEDは、ハエのハードトレーニングサンプルを特定し、アンサンブルメンバーにこれらについて意見の一致を奨励する。 スケーリングを改善するために,既存のモデル間での対角不一致を解消する手法において,コストのかかる計算を避ける方法を示す。 $\textbf{Results。 ImageNetでの実験により、多様化のメリットを評価します。 まず,OODの一般化のために,出力空間(古典的)アンサンブルや重量空間アンサンブル(モデルスープ)など,複数の環境での多様化による大きなメリットを観察する。 第二に、OOD検出において、アンサンブル仮説の多様性を、多数のOOD検出基準を超える新しい不確実性スコア推定器に変換する。 コードはここにある。 https://github.com/AlexanderRubinstein/diverse-universe-public。

関連論文リスト

• DPU: Dynamic Prototype Updating for Multimodal Out-of-Distribution Detection [10.834698906236405]
  機械学習モデルの堅牢性を保証するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 マルチモーダルモデルの最近の進歩は、検出性能を高めるために複数のモダリティを活用する可能性を示している。 マルチモーダルOOD検出のための新しいプラグイン・アンド・プレイフレームワークであるDynamic Prototype Updating (DPU)を提案する。
  論文  参考訳（メタデータ） (2024-11-12T22:43:16Z)
• Diversified Outlier Exposure for Out-of-Distribution Detection via Informative Extrapolation [110.34982764201689]
  Out-of-Distribution(OOD)検出は、現実のアプリケーションに信頼性の高い機械学習モデルをデプロイするために重要である。 近年, 外部曝露によるOOD検出に有意な結果が得られた。 本稿では,補助外乱量に基づく情報外挿による効果的なOOD検出のための新しい枠組み,すなわちDivOE(Diversified Outlier Exposure)を提案する。
  論文  参考訳（メタデータ） (2023-10-21T07:16:09Z)
• General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。 本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。 提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-24T18:50:49Z)
• Calibrated Out-of-Distribution Detection with a Generic Representation [28.658200157111505]
  アウト・オブ・ディストリビューション検出(Out-of-distriion detection)は、視覚モデルを実際にデプロイする際の一般的な問題であり、安全クリティカルなアプリケーションにおいて重要なビルディングブロックである。 GROODと呼ばれる新しい OOD 法を提案する。これは,OOD 検出をベイマン・ピアソンのタスクとして定式化し,高い校正スコアを付与し,優れた性能を実現する。 この手法は多くのOODベンチマークで最先端の性能を達成し、いくつかのベンチマークでほぼ完璧な性能を達成した。
  論文  参考訳（メタデータ） (2023-03-23T10:03:12Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Understanding, Detecting, and Separating Out-of-Distribution Samples and Adversarial Samples in Text Classification [80.81532239566992]
  本稿では,2種類の異常 (OOD と Adv のサンプル) と,3つの側面の内分布 (ID) を比較した。 OODサンプルは第1層から始まる収差を露呈するが,Advサンプルの異常はモデル深層まで出現しない。 隠れ表現と出力確率を用いて,ID,OOD,Advのサンプルを分離する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T12:11:59Z)
• WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
  ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。 トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。 本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:35:15Z)
• Towards Consistent Predictive Confidence through Fitted Ensembles [6.371992222487036]
  本稿では,OOD実例が存在する場合に,分類器の性能を測定するための分離可能な概念学習フレームワークを提案する。 我々は、より一貫した深層モデルの予測信頼度を高めるために、より強力なベースラインを新たに提示する。
  論文  参考訳（メタデータ） (2021-06-22T21:32:31Z)
• Label Smoothed Embedding Hypothesis for Out-of-Distribution Detection [72.35532598131176]
  我々は,$k$-NN 密度推定値を用いて OOD サンプルを検出する教師なし手法を提案する。 emphLabel Smoothed Embedding hypothesis と呼ばれるラベル平滑化に関する最近の知見を活用する。 提案手法は,多くのOODベースラインを上回り,新しい有限サンプル高確率統計結果を提供することを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:04:44Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。