論文の概要: Benchmarking Vision Foundation Models for Input Monitoring in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2501.08083v3
• Date: Fri, 04 Apr 2025 11:10:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 19:41:15.714627
• Title: Benchmarking Vision Foundation Models for Input Monitoring in Autonomous Driving
• Title（参考訳）: 自律運転における入力監視のためのベンチマークビジョン基礎モデル
• Authors: Mert Keser, Halil Ibrahim Orhan, Niki Amini-Naieni, Gesina Schwalbe, Alois Knoll, Matthias Rottmann,
• Abstract要約: 特徴抽出器および密度モデリング技術としてのビジョンファウンデーションモデル(VFM)を提案する。 最先端のバイナリOOD分類法と比較すると、密度推定によるVFM埋め込みはOOD入力の同定において既存の手法よりも優れていることが分かる。 提案手法は,ダウンストリームタスクにおけるエラーの原因となる可能性のある高リスク入力を検出し,全体的な性能を向上させる。
• 参考スコア（独自算出の注目度）: 7.064497253920508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) remain challenged by distribution shifts in complex open-world domains like automated driving (AD): Robustness against yet unknown novel objects (semantic shift) or styles like lighting conditions (covariate shift) cannot be guaranteed. Hence, reliable operation-time monitors for identification of out-of-training-data-distribution (OOD) scenarios are imperative. Current approaches for OOD classification are untested for complex domains like AD, are limited in the kinds of shifts they detect, or even require supervision with OOD samples. To prepare for unanticipated shifts, we instead establish a framework around a principled, unsupervised and model-agnostic method that unifies detection of semantic and covariate shifts: Find a full model of the training data's feature distribution, to then use its density at new points as in-distribution (ID) score. To implement this, we propose to combine Vision Foundation Models (VFMs) as feature extractors with density modeling techniques. Through a comprehensive benchmark of 4 VFMs with different backbone architectures and 5 density-modeling techniques against established baselines, we provide the first systematic evaluation of OOD classification capabilities of VFMs across diverse conditions. A comparison with state-of-the-art binary OOD classification methods reveals that VFM embeddings with density estimation outperform existing approaches in identifying OOD inputs. Additionally, we show that our method detects high-risk inputs likely to cause errors in downstream tasks, thereby improving overall performance. Overall, VFMs, when coupled with robust density modeling techniques, are promising to realize model-agnostic, unsupervised, reliable safety monitors in complex vision tasks
• Abstract（参考訳）: ディープラーニング(Deep Neural Network, DNN)は、自動走行(AD)のような複雑なオープンワールドドメインの分散シフトによって、依然として課題が残る。 したがって、トレーニング外のデータ配信(OOD)シナリオを識別するための信頼性の高い運用時間モニタは必須である。 OOD分類の現在のアプローチは、ADのような複雑なドメインではテストされていない。 予測外のシフトに備えて、セマンティックシフトや共変量シフトの検出を統一する、原則付き、教師なし、モデルに依存しない手法を中心としたフレームワークを確立する。 これを実現するために,特徴抽出器として視覚基礎モデル(VFM)と密度モデリング技術を組み合わせることを提案する。 異なるバックボーンアーキテクチャを持つ4つのVFMの総合的なベンチマークと、確立されたベースラインに対する5つの密度モデリング技術を通じて、VFMのOOD分類能力を様々な条件で評価する最初の体系的評価を行う。 最先端のバイナリOOD分類法と比較すると、密度推定によるVFM埋め込みはOOD入力の同定において既存の手法よりも優れていることが分かる。 さらに,本手法は,下流タスクの誤りの原因となる可能性のある高リスク入力を検出し,全体的な性能向上を実現する。 全体として、VFMは、堅牢な密度モデリング技術と組み合わせることで、複雑な視覚タスクにおけるモデルに依存しない、教師なし、信頼性の高い安全モニターを実現することを約束している。

関連論文リスト

• Prior2Former -- Evidential Modeling of Mask Transformers for Assumption-Free Open-World Panoptic Segmentation [74.55677741919035]
  顕在学習に根ざしたセグメンテーション・ビジョン・トランスフォーマの最初のアプローチとして、Prefer2Former (P2F)を提案する。 P2Fは、ピクセル単位のバイナリマスク割り当てにおいて、モデル不確実性を計算するためのベータを組み込むことで、マスクビジョントランスフォーマーアーキテクチャを拡張している。 OODデータを使用しないメソッドの中では、OoDIS異常インスタンスベンチマークで最高ランクに達している。
  論文  参考訳（メタデータ） (2025-04-07T08:53:14Z)
• DPU: Dynamic Prototype Updating for Multimodal Out-of-Distribution Detection [10.834698906236405]
  機械学習モデルの堅牢性を保証するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 マルチモーダルモデルの最近の進歩は、検出性能を高めるために複数のモダリティを活用する可能性を示している。 マルチモーダルOOD検出のための新しいプラグイン・アンド・プレイフレームワークであるDynamic Prototype Updating (DPU)を提案する。
  論文  参考訳（メタデータ） (2024-11-12T22:43:16Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning [0.0]
  我々は新しい密度に基づくOOD検出技術であるtextitFlowConを紹介する。 我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることである。 経験的評価は、一般的な視覚データセットにまたがる手法の性能向上を示す。
  論文  参考訳（メタデータ） (2024-07-03T20:33:56Z)
• Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
  Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。 近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。 本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
  論文  参考訳（メタデータ） (2023-12-18T09:52:14Z)
• DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
  複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。 運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。 我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
  論文  参考訳（メタデータ） (2023-10-03T10:10:42Z)
• From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
  アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。 近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。 グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T11:56:25Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Scanflow: A multi-graph framework for Machine Learning workflow management, supervision, and debugging [0.0]
  本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。 このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
  論文  参考訳（メタデータ） (2021-11-04T17:01:12Z)
• Improving Variational Autoencoder based Out-of-Distribution Detection for Embedded Real-time Applications [2.9327503320877457]
  アウト・オブ・ディストリビューション(OD)検出は、リアルタイムにアウト・オブ・ディストリビューションを検出するという課題に対処する新しいアプローチである。 本稿では,自律走行エージェントの周囲の有害な動きを頑健に検出する方法について述べる。 提案手法は,OoD因子の検出能力を一意に改善し,最先端手法よりも42%向上した。 また,本モデルでは,実験した実世界およびシミュレーション駆動データに対して,最先端技術よりも97%の精度でほぼ完璧に一般化した。
  論文  参考訳（メタデータ） (2021-07-25T07:52:53Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Anomaly Detection by One Class Latent Regularized Networks [36.67420338535258]
  近年,GANに基づく半教師付きジェネレーティブ・アドバイザリアル・ネットワーク(GAN)手法が,異常検出タスクで人気を集めている。 遅延特徴空間でトレーニングデータの基盤となる構造を捕捉する新しい対角デュアルオートエンコーダネットワークを提案する。 実験の結果,MNISTおよびCIFAR10データセットおよびGTSRB停止信号データセットの最先端結果が得られた。
  論文  参考訳（メタデータ） (2020-02-05T02:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。