論文の概要: A Semantic Observer Layer for Autonomous Vehicles: Pre-Deployment Feasibility Study of VLMs for Low-Latency Anomaly Detection
- arxiv url: http://arxiv.org/abs/2603.28888v1
- Date: Mon, 30 Mar 2026 18:14:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:02.653553
- Title: A Semantic Observer Layer for Autonomous Vehicles: Pre-Deployment Feasibility Study of VLMs for Low-Latency Anomaly Detection
- Title(参考訳): 自動運転車のセマンティックオブザーバ層:低遅延異常検出のためのVLMの事前展開可能性の検討
- Abstract要約: 本稿では,一次AV制御ループと並行して1-2Hzで動作する量子視覚言語モデル(VLM)を提案する。
最適化されていないFP16ベースラインの50倍の速度で500msの推算を行う。
その結果,組込みAIAVプラットフォーム上でのセマンティックオブザーバアーキテクチャのデプロイ前実現可能性を確立した。
- 参考スコア(独自算出の注目度): 0.8466401378239364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic anomalies-context-dependent hazards that pixel-level detectors cannot reason about-pose a critical safety risk in autonomous driving. We propose a \emph{semantic observer layer}: a quantized vision-language model (VLM) running at 1--2\,Hz alongside the primary AV control loop, monitoring for semantic edge cases, and triggering fail-safe handoffs when detected. Using Nvidia Cosmos-Reason1-7B with NVFP4 quantization and FlashAttention2, we achieve ~500 ms inference a ~50x speedup over the unoptimized FP16 baseline (no quantization, standard PyTorch attention) on the same hardware--satisfying the observer timing budget. We benchmark accuracy, latency, and quantization behavior in static and video conditions, identify NF4 recall collapse (10.6%) as a hard deployment constraint, and a hazard analysis mapping performance metrics to safety goals. The results establish a pre-deployment feasibility case for the semantic observer architecture on embodied-AI AV platforms.
- Abstract(参考訳): セマンティック異常(Semantic Anomalies-context-dependent hazards)は、ピクセルレベルの検出器が自律運転において重大な安全リスクを負うことができない。
本稿では,一次AV制御ループと並行して1-2\,Hzで動作する量子化視覚言語モデル(VLM)とセマンティックエッジケースの監視,検出時のフェールセーフハンドオフのトリガを提案する。
Nvidia Cosmos-Reason1-7BとNVFP4量子化とFlashAttention2を用いて、最適化されていないFP16ベースライン(量子化なし、標準のPyTorch注意)を500msから50倍のスピードアップを達成する。
我々は、静的およびビデオ条件における精度、レイテンシ、量子化の挙動をベンチマークし、NF4リコール崩壊(10.6%)をハードデプロイメント制約とし、パフォーマンス指標を安全目標にマッピングするハザード分析を行った。
その結果,組込みAIAVプラットフォーム上でのセマンティックオブザーバアーキテクチャのデプロイ前実現可能性を確立した。
関連論文リスト
- SafeAtlas-VL: Beyond Binary Multimodal Safety with Large-Scale Data and Guard Models [73.04773649437375]
マルチモーダル・セーフティ・モデレーションは、視覚的コンテンツ、ユーザ意図、およびアシスタント行動から生じるリスクを区別する必要がある。
SafeAtlas-VLは、1.5Mのトレーニングインスタンスのデータセットで、画像、要求レベル、応答レベルを5段階の順序で判定する。
SafeAtlas-Benchは5段階の予測と継続的なリスクスコアを評価するための5000のインスタンスである。
論文 参考訳(メタデータ) (2026-08-29T07:08:01Z) - VigilFormer: Deformable Attention for Video Anomaly Detection with Causal Risk Inference [2.538209532048867]
本稿では,ビデオ監視映像の異常を検出するために,変形可能な注意と因果時間モデルを組み合わせた統合フレームワークを提案する。
VigilFormer, ShanghaiTech, CUHK Avenueのフレームワークを1つのGPU上で41.5 FPSで評価した。
論文 参考訳(メタデータ) (2026-05-31T14:27:57Z) - Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense [37.10272384523361]
我々は、各検出器のサンプルごとの信頼性と遅延を、同様の過去の入力に対する動作から予測するためのフレームワークを開発する。
SCOUT-450は、古いプロンプトインジェクションが表現下にある構造的に複雑でエージェント対応のインジェクションをキャプチャするベンチマークである。
SCOUT-450では、安全指向の動作点が攻撃発生率を46%減らし、壁時計全体の40%減らした。
論文 参考訳(メタデータ) (2026-05-29T04:49:20Z) - How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures [0.0]
VLAアーキテクチャは、モーター・コマンドレベルで根本的に異なる予測可能な方法で失敗する。
我々は、よく知られた離散/連続的なVLAの区別の結果を定量化する。
論文 参考訳(メタデータ) (2026-05-27T16:44:55Z) - From Frames to Events: Rethinking Evaluation in Human-Centric Video Anomaly Detection [9.404376027901277]
ポースベースのビデオ異常検出(VAD)は、プライバシー保護の性質と環境変動に対する堅牢性において大きな注目を集めている。
従来のフレームレベルの評価では、ビデオは孤立したフレームの集合として扱われ、現実の世界で異常がどのように現れ、行動するかを根本的に誤解している。
本稿では,階層的なガウススムースメントと適応二項化を備えたスコアリファインメントパイプラインと,イベントレベルの検出を直接生成するエンドツーエンドのデュアルブランチモデルという,時間的イベントローカライゼーションのための2つの戦略を紹介する。
論文 参考訳(メタデータ) (2026-04-10T13:52:18Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2026-03-13T20:44:15Z) - When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift [64.37959940809633]
時間的持続的なセンサ故障下でのPPOのロバスト性について検討する。
トランスフォーマーを用いたシーケンスポリシーは, センサ数が少ない場合でも高いリターンを保ちながら, 堅牢性, RNN, SSMよりも大幅に優れていた。
論文 参考訳(メタデータ) (2026-03-04T22:21:54Z) - Conditional Flow Matching for Continuous Anomaly Detection in Autonomous Driving on a Manifold-Aware Spectral Space [0.0]
安全クリティカルな異常検出のための教師なしフレームワークであるDeep-Flowを提案する。
不安定で高次元の座標空間で動作する標準的な生成的アプローチとは異なり、Deep-Flowは生成過程を低ランクのスペクトル多様体に制約する。
これにより、設計によるキネマティックな滑らかさが保証され、数値的に安定で決定論的な対数類似度推定の計算が可能になる。
論文 参考訳(メタデータ) (2026-02-19T18:10:16Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳(メタデータ) (2026-02-13T14:57:15Z) - STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning [65.36458157092207]
視覚言語モデル(VLM)では、テキスト記述と視覚座標のミスアライメントはしばしば幻覚を引き起こす。
本稿では,座標の調整が難しい問題を回避するために,新しい視覚的プロンプトパラダイムを提案する。
本稿では,STVGの最初の強化学習フレームワークであるSTVG-R1を紹介する。
論文 参考訳(メタデータ) (2026-02-12T08:53:32Z) - Unsupervised Anomaly Detection in Multi-Agent Trajectory Prediction via Transformer-Based Models [45.08545174556591]
マルチエージェントトランスを用いた教師なし異常検出フレームワークを提案する。
検出安定性と物理的アライメントの両方を評価するための二重評価手法が提案されている。
本フレームワークでは,時間対衝突および統計ベースラインに欠落した388個の特異な異常を同定する。
論文 参考訳(メタデータ) (2026-01-28T08:33:10Z) - EVEREST: An Evidential, Tail-Aware Transformer for Rare-Event Time-Series Forecasting [4.551615447454767]
EVERESTは確率的レアイベント予測のためのトランスフォーマーベースのアーキテクチャである。
キャリブレーションされた予測とテールアウェアのリスク推定を提供する。
産業監視、天気予報、衛星診断などの高度な分野に適用できる。
論文 参考訳(メタデータ) (2026-01-26T23:15:20Z) - LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。
本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。
本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
論文 参考訳(メタデータ) (2026-01-18T12:08:38Z) - SAVANT: Semantic Analysis with Vision-Augmented Anomaly deTection [6.806105013817923]
SAVANTは、異常運転シナリオの検出において高精度なリコールを実現する構造化推論フレームワークである。
9,640以上の実世界の画像を高精度にラベル付けすることで、SAVANTは異常検出における重要なデータ不足問題に対処する。
論文 参考訳(メタデータ) (2025-10-20T19:14:29Z) - Adaptive t Design Dummy-Gate Obfuscation for Cryogenic Scale Enforcement [0.0]
クラウド量子サービスは、スケジューラメタデータ、レイテンシパターン、共テナント干渉を通じて、回路構造とタイミングを明らかにすることができる。
我々は,ゲートモデルワークロードの運用上のプライバシを強制するスケジューリングおよび難読化スタックであるNADGOを紹介する。
低温CMOS制御による4キュービット超伝導タイルの試作を行い,深度可変ローカルランダム回路と小型QAOAインスタンスの両特性について検討した。
論文 参考訳(メタデータ) (2025-08-31T12:12:48Z) - SlowFastVAD: Video Anomaly Detection via Integrating Simple Detector and RAG-Enhanced Vision-Language Model [52.47816604709358]
ビデオ異常検出(VAD)は、ビデオ内の予期せぬ事象を識別することを目的としており、安全クリティカルドメインに広く応用されている。
視覚言語モデル(VLM)は強力なマルチモーダル推論能力を示し、異常検出の新しい機会を提供している。
SlowFastVADは高速異常検出器と低速異常検出器を統合したハイブリッドフレームワークである。
論文 参考訳(メタデータ) (2025-04-14T15:30:03Z) - Evaluating ML Robustness in GNSS Interference Classification, Characterization & Localization [42.14439854721613]
ジャミング装置はグローバルナビゲーション衛星システム(GNSS)からの信号を妨害する
本稿では、低周波アンテナから得られたスナップショットからなる広範囲なデータセットを提案する。
本研究の目的は,機械学習モデル(ML)の環境変化に対するレジリエンスを評価することである。
論文 参考訳(メタデータ) (2024-09-23T15:20:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。