論文の概要: FodFoM: Fake Outlier Data by Foundation Models Creates Stronger Visual Out-of-Distribution Detector
- arxiv url: http://arxiv.org/abs/2412.05293v1
- Date: Fri, 22 Nov 2024 17:29:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-15 08:28:44.417088
- Title: FodFoM: Fake Outlier Data by Foundation Models Creates Stronger Visual Out-of-Distribution Detector
- Title（参考訳）: FodFoM: ファウンデーションモデルによるアウトレイラデータ作成
- Authors: Jiankang Chen, Ling Deng, Zhiyong Gan, Wei-Shi Zheng, Ruixuan Wang,
- Abstract要約: オープンソースのアプリケーションに機械学習モデルをデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,新しいOOD検出フレームワークFodFoMを提案する。
最新のOOD検出性能は、複数のベンチマークで実現されている。
- 参考スコア（独自算出の注目度）: 25.224930928724326
- License:
- Abstract: Out-of-Distribution (OOD) detection is crucial when deploying machine learning models in open-world applications. The core challenge in OOD detection is mitigating the model's overconfidence on OOD data. While recent methods using auxiliary outlier datasets or synthesizing outlier features have shown promising OOD detection performance, they are limited due to costly data collection or simplified assumptions. In this paper, we propose a novel OOD detection framework FodFoM that innovatively combines multiple foundation models to generate two types of challenging fake outlier images for classifier training. The first type is based on BLIP-2's image captioning capability, CLIP's vision-language knowledge, and Stable Diffusion's image generation ability. Jointly utilizing these foundation models constructs fake outlier images which are semantically similar to but different from in-distribution (ID) images. For the second type, GroundingDINO's object detection ability is utilized to help construct pure background images by blurring foreground ID objects in ID images. The proposed framework can be flexibly combined with multiple existing OOD detection methods. Extensive empirical evaluations show that image classifiers with the help of constructed fake images can more accurately differentiate real OOD images from ID ones. New state-of-the-art OOD detection performance is achieved on multiple benchmarks. The code is available at \url{https://github.com/Cverchen/ACMMM2024-FodFoM}.
- Abstract（参考訳）: オープンソースのアプリケーションに機械学習モデルをデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
OOD検出の最大の課題は、OODデータに対するモデルの過信を軽減することだ。
補助的外乱データセットや合成外乱特徴を用いた最近の手法では、OOD検出性能が期待できるが、コストのかかるデータ収集や単純な仮定のために制限されている。
本稿では,複数の基礎モデルを革新的に組み合わせた新しいOOD検出フレームワークFodFoMを提案する。
最初の型はBLIP-2の画像キャプション機能、CLIPの視覚言語知識、安定ディフュージョンの画像生成能力に基づいている。
これらの基礎モデルを併用して、意味論的に類似しているが、分布内(ID)画像とは異なる偽の外れ値画像を構築する。
第2のタイプでは、GroundingDinoのオブジェクト検出機能を利用して、IDイメージ内の前景IDオブジェクトをぼかすことによって、純粋な背景画像を構築する。
提案手法は,既存のOOD検出手法と柔軟に組み合わせることができる。
大規模な実証実験により, 偽画像を用いた画像分類器は, 実際のOOD画像をID画像とより正確に区別できることがわかった。
最新のOOD検出性能は、複数のベンチマークで実現されている。
コードは \url{https://github.com/Cverchen/ACMMM2024-FodFoM} で公開されている。
関連論文リスト
- TagFog: Textual Anchor Guidance and Fake Outlier Generation for Visual Out-of-Distribution Detection [34.31570050254269]
オフ・オブ・ディストリビューション(OOD)検出は多くの現実世界のアプリケーションにおいて重要である。
本稿では,画像エンコーダのトレーニングを支援するために,単純なJigsawベースの偽OODデータと,ChatGPTによるID知識の記述からリッチセマンティック埋め込み(アンカー)を利用する新たな学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-22T14:40:25Z) - Exploiting Diffusion Prior for Out-of-Distribution Detection [11.11093497717038]
堅牢な機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。
拡散モデルの生成能力とCLIPの強力な特徴抽出能力を活用する新しいOOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-06-16T23:55:25Z) - Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。
本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。
EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。
EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
論文 参考訳（メタデータ） (2024-06-02T17:09:48Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Building One-class Detector for Anything: Open-vocabulary Zero-shot OOD
Detection Using Text-image Models [23.302018871162186]
ゼロショット方式でテキスト画像事前学習モデルを利用する新しい1クラスオープンセットOOD検出器を提案する。
提案手法は,ドメイン内でないものを検出し,多様なOODを検出する柔軟性を提供する。
本手法は,すべてのベンチマークにおいて,従来の手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-26T18:58:56Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Improving Out-of-Distribution Detection with Disentangled Foreground and Background Features [23.266183020469065]
本稿では,IDトレーニングサンプルから前景と背景の特徴を密接な予測手法によって切り離す新しいフレームワークを提案する。
これは、様々な既存のOOD検出メソッドとシームレスに組み合わせられる汎用フレームワークである。
論文 参考訳（メタデータ） (2023-03-15T16:12:14Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳（メタデータ） (2023-02-06T08:24:41Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-19T15:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。