論文の概要: DPU: Dynamic Prototype Updating for Multimodal Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2411.08227v1
- Date: Tue, 12 Nov 2024 22:43:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:09:28.654435
- Title: DPU: Dynamic Prototype Updating for Multimodal Out-of-Distribution Detection
- Title（参考訳）: DPU:マルチモーダル・アウト・オブ・ディストリビューション検出のための動的プロトタイプ更新
- Authors: Shawn Li, Huixian Gong, Hao Dong, Tiankai Yang, Zhengzhong Tu, Yue Zhao,
- Abstract要約: 機械学習モデルの堅牢性を保証するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
マルチモーダルモデルの最近の進歩は、検出性能を高めるために複数のモダリティを活用する可能性を示している。
マルチモーダルOOD検出のための新しいプラグイン・アンド・プレイフレームワークであるDynamic Prototype Updating (DPU)を提案する。
- 参考スコア（独自算出の注目度）: 10.834698906236405
- License:
- Abstract: Out-of-distribution (OOD) detection is essential for ensuring the robustness of machine learning models by identifying samples that deviate from the training distribution. While traditional OOD detection has primarily focused on single-modality inputs, such as images, recent advances in multimodal models have demonstrated the potential of leveraging multiple modalities (e.g., video, optical flow, audio) to enhance detection performance. However, existing methods often overlook intra-class variability within in-distribution (ID) data, assuming that samples of the same class are perfectly cohesive and consistent. This assumption can lead to performance degradation, especially when prediction discrepancies are uniformly amplified across all samples. To address this issue, we propose Dynamic Prototype Updating (DPU), a novel plug-and-play framework for multimodal OOD detection that accounts for intra-class variations. Our method dynamically updates class center representations for each class by measuring the variance of similar samples within each batch, enabling adaptive adjustments. This approach allows us to amplify prediction discrepancies based on the updated class centers, thereby improving the model's robustness and generalization across different modalities. Extensive experiments on two tasks, five datasets, and nine base OOD algorithms demonstrate that DPU significantly improves OOD detection performance, setting a new state-of-the-art in multimodal OOD detection, with improvements of up to 80 percent in Far-OOD detection. To facilitate accessibility and reproducibility, our code is publicly available on GitHub.
- Abstract（参考訳）: トレーニング分布から逸脱するサンプルを識別することにより、機械学習モデルの堅牢性を確保するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
従来のOOD検出は主に画像などの単一モダリティ入力に重点を置いているが、近年のマルチモーダルモデルの進歩は、検出性能を高めるために複数のモダリティ(ビデオ、光フロー、オーディオなど)を活用する可能性を実証している。
しかし、既存の手法は、同じクラスのサンプルが完全に凝集的で一貫性のあるものであると仮定して、ID(In-distriion)データ内のクラス内変動をしばしば見落としている。
この仮定は、特に予測の不一致が全サンプルにわたって一様に増幅された場合、パフォーマンスの低下につながる可能性がある。
この問題を解決するために,クラス内変動を考慮したマルチモーダルOOD検出のための新しいプラグイン・アンド・プレイフレームワークであるDynamic Prototype Updating (DPU)を提案する。
本手法は,各バッチ内の類似サンプルの分散を測定することで,各クラスのクラスセンター表現を動的に更新し,適応的な調整を可能にする。
このアプローチにより、更新されたクラスセンターに基づいて予測の不一致を増幅し、モデルの頑健さと様々なモダリティの一般化を改善することができる。
2つのタスク、5つのデータセット、9つのベースOODアルゴリズムに関する大規模な実験により、DPUはOOD検出性能を著しく改善し、マルチモーダルOOD検出において新しい最先端技術を確立し、Far-OOD検出では最大80%改善した。
アクセシビリティと再現性を容易にするため、私たちのコードはGitHubで公開されています。
関連論文リスト
- Scalable Ensemble Diversification for OOD Generalization and Detection [68.8982448081223]
SEDは、ハエのハードトレーニングサンプルを特定し、アンサンブルメンバーにこれらについて意見の一致を奨励する。
モデル間でのペアの相違を解消する既存の方法において,コストのかかる計算を避ける方法を示す。
OODの一般化のために,出力空間(古典的)アンサンブルや重量空間アンサンブル(モデルスープ)など,複数の環境での多様化による大きなメリットを観察する。
論文 参考訳（メタデータ） (2024-09-25T10:30:24Z) - WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳（メタデータ） (2024-05-27T13:38:28Z) - Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。
IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。
本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
論文 参考訳（メタデータ） (2024-04-24T03:25:53Z) - Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。
本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。
本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
論文 参考訳（メタデータ） (2024-03-16T04:35:04Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection [9.656342063882555]
5種類の分布変化について検討し,OOD検出手法の性能評価を行った。
その結果,これらの手法は未知のクラスの検出に優れるが,他のタイプの分散シフトに遭遇した場合,その性能は不整合であることがわかった。
我々は、より一貫性があり包括的なOOD検出ソリューションを提供するアンサンブルアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-22T14:52:44Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - DIVERSIFY: A General Framework for Time Series Out-of-distribution
Detection and Generalization [58.704753031608625]
時系列は、機械学習研究における最も困難なモダリティの1つである。
時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。
時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
論文 参考訳（メタデータ） (2023-08-04T12:27:11Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-24T18:50:49Z) - Boosting Out-of-Distribution Detection with Multiple Pre-trained Models [41.66566916581451]
事前訓練されたモデルを用いたポストホック検出は有望な性能を示し、大規模にスケールできる。
本稿では,事前訓練されたモデルの動物園から抽出した複数の検出決定をアンサンブルすることで,検出強化手法を提案する。
CIFAR10 と ImageNet のベンチマークでは, 相対性能を 65.40% と 26.96% で大幅に改善した。
論文 参考訳（メタデータ） (2022-12-24T12:11:38Z) - Trusted Multi-View Classification [76.73585034192894]
本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。
さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
論文 参考訳（メタデータ） (2021-02-03T13:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。