論文の概要: ClearVision: Leveraging CycleGAN and SigLIP-2 for Robust All-Weather Classification in Traffic Camera Imagery
- arxiv url: http://arxiv.org/abs/2504.19684v2
- Date: Thu, 01 May 2025 22:56:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-05 11:25:08.328012
- Title: ClearVision: Leveraging CycleGAN and SigLIP-2 for Robust All-Weather Classification in Traffic Camera Imagery
- Title(参考訳): ClearVision: 交通カメラ画像におけるロバストな全天候分類のためのCycleGANとSigLIP-2の活用
- Authors: Anush Lakshman Sivaraman, Kojo Adu-Gyamfi, Ibne Farabi Shihab, Anuj Sharma,
- Abstract要約: 本稿では,CycleGANに基づくドメイン適応と効率的なコントラスト学習を組み合わせた新しいフレームワークを提案する。
提案手法では,SigLIP-2 モデルを用いて,計算要求の低減に一対のシグモノイド損失を用いる。
我々のフレームワークは、既存のカメラインフラを使った全天候分類のためのスケーラブルで効率的なソリューションを提供する。
- 参考スコア(独自算出の注目度): 1.9953114232105387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adverse weather conditions challenge safe transportation, necessitating robust real-time weather detection from traffic camera imagery. We propose a novel framework combining CycleGAN-based domain adaptation with efficient contrastive learning to enhance weather classification, particularly in low-light nighttime conditions. Our approach leverages the lightweight SigLIP-2 model, which employs pairwise sigmoid loss to reduce computational demands, integrated with CycleGAN to transform nighttime images into day-like representations while preserving weather cues. Evaluated on an Iowa Department of Transportation dataset, the baseline EVA-02 model with CLIP achieves a per-class overall accuracy of 96.55\% across three weather conditions (No Precipitation, Rain, Snow) and a day/night overall accuracy of 96.55\%, but shows a significant day-night gap (97.21\% day vs.\ 63.40\% night). With CycleGAN, EVA-02 improves to 97.01\% per-class accuracy and 96.85\% day/night accuracy, boosting nighttime performance to 82.45\%. Our Vision-SigLIP-2 + Text-SigLIP-2 + CycleGAN + Contrastive configuration excels in nighttime scenarios, achieving the highest nighttime accuracy of 85.90\%, with 94.00\% per-class accuracy and 93.35\% day/night accuracy. This model reduces training time by 89\% (from 6 hours to 40 minutes) and inference time by 80\% (from 15 seconds to 3 seconds) compared to EVA-02. By narrowing the day-night performance gap from 33.81 to 8.90 percentage points, our framework provides a scalable, efficient solution for all-weather classification using existing camera infrastructure.
- Abstract(参考訳): 逆気象条件は安全な交通手段に挑戦し、交通カメラ画像からの堅牢なリアルタイム気象検出を必要とする。
本稿では,CycleGANをベースとしたドメイン適応と効率的なコントラスト学習を組み合わせることで,特に夜間の低照度条件下での気象分類を向上するフレームワークを提案する。
本稿では,CycleGANと統合したSigLIP-2モデルを用いて,夜間の画像を昼風の表現に変換し,天気予報を保存している。
アイオワ州運輸省のデータセットから評価すると、CLIPのベースラインEVA-02モデルは3つの気象条件(降水量、降雪量、降雪量)でクラス毎の96.55\%、日毎の96.55\%の精度を達成しているが、昼夜の差(97.21\%対日)は顕著である。
63.40 % 夜)。
CycleGANでは、EVA-02はクラス毎の精度97.01\%、日毎の精度96.85\%に改善され、夜間のパフォーマンスは82.45\%に向上した。
私たちのVision-SigLIP-2 + Text-SigLIP-2 + CycleGAN + Contrastive 構成は夜間のシナリオで優れており、最高夜間の精度は85.90\%、クラス毎の精度は94.00\%、昼夜の精度は93.35\%である。
このモデルは、EVA-02と比較してトレーニング時間を89\%(6時間から40分)、推論時間を80\%(15秒から3秒)削減する。
日中のパフォーマンスギャップを33.81から8.90ポイントに縮めることで、既存のカメラインフラストラクチャを使用した全天候分類のためのスケーラブルで効率的なソリューションを提供する。
関連論文リスト
- Segregation and Context Aggregation Network for Real-time Cloud Segmentation [16.33805395655703]
地上のスカイ/クラウドセグメンテーションは、さらなる特徴分析のために雲を抽出する。
SCANetは、新しい軽量クラウドセグメンテーションモデルである。
SCANetは、計算の複雑さを大幅に減らしながら、最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-04-19T04:47:59Z) - CLIPure: Purification in Latent Space via CLIP for Adversarially Robust Zero-Shot Classification [65.46685389276443]
画像とテキストプロンプトをマッチングすることでゼロショット分類を行うことができる、視覚言語で事前訓練されたエンコーダモデルであるCLIPについて検討する。
次に, 共分散精製プロセス間のKL分散として精製リスクを定式化する。
画像の潜伏ベクトルの確率をモデル化するCLI-Diffと、画像の埋め込みとaの写真とのコサイン類似度をモデル化するCLI-Cosの2つのバリエーションを提案する。
論文 参考訳(メタデータ) (2025-02-25T13:09:34Z) - WARLearn: Weather-Adaptive Representation Learning [4.5035146256368455]
WARLearnは、挑戦的かつ敵対的な気象条件下で適応的な表現学習のために設計された新しいフレームワークである。
本手法は霧と低照度を特徴とするシナリオにおいて顕著な性能向上を示す。
論文 参考訳(メタデータ) (2024-11-21T13:00:30Z) - Real-Time Weather Image Classification with SVM [3.842565887299043]
本稿では,画像中の気象条件を,雨,低照,迷路,クリアの4つのカテゴリに分類する。
この作業の動機は、自動化システムの信頼性と効率性を改善する必要性にある。
論文 参考訳(メタデータ) (2024-09-01T19:41:35Z) - An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。
本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。
バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
論文 参考訳(メタデータ) (2024-04-18T14:14:44Z) - Hierarchical-level rain image generative model based on GAN [4.956959291938016]
階層レベルの降雨画像生成モデルである雨条件型CycleGANを構築した。
条件付きGANでは、異なる降雨強度がラベルとして導入されている。
モデル構造を最適化し、モード崩壊の問題を緩和するためにトレーニング戦略を調整する。
論文 参考訳(メタデータ) (2023-09-06T12:59:52Z) - Patch-Level Contrasting without Patch Correspondence for Accurate and
Dense Contrastive Representation Learning [79.43940012723539]
ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。
提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2023-06-23T07:38:09Z) - LUT-GCE: Lookup Table Global Curve Estimation for Fast Low-light Image
Enhancement [62.17015413594777]
LUT-GCEという低照度画像強調のための効果的かつ効率的な手法を提案する。
画像全体に対する大域的な曲線を推定し、被曝と過剰露光の両方の補正を可能にする。
我々のアプローチは、特に高精細画像(例えば1080pと4k)において、推論速度の観点から、技術の現状よりも優れています。
論文 参考訳(メタデータ) (2023-06-12T12:53:06Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳(メタデータ) (2023-05-17T13:56:48Z) - Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data [122.282521548393]
コントラスト言語-画像事前学習 (CLIP) は, クロスモーダルな画像-テキスト表現学習の標準となっている。
HELIPは、CLIPモデルを改善するためのコスト効率のよい戦略であり、継続的なトレーニングにおいて既存のデータセット内の挑戦的なテキストイメージペアを利用することで、CLIPモデルを改善する。
論文 参考訳(メタデータ) (2023-05-09T07:00:17Z) - CLIP Itself is a Strong Fine-tuner: Achieving 85.7% and 88.0% Top-1
Accuracy with ViT-B and ViT-L on ImageNet [139.56863124214905]
CLIPの微調整性能はかなり過小評価されている。
具体的には、CLIP ViT-Base/16とCLIP ViT-Large/14は、ImageNet-1KデータセットのTop-1精度を85.7%、88.0%微調整することができる。
論文 参考訳(メタデータ) (2022-12-12T18:59:59Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳(メタデータ) (2022-04-21T14:40:32Z) - Provable Stochastic Optimization for Global Contrastive Learning: Small
Batch Does Not Harm Performance [53.49803579981569]
各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。
SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。
本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-24T22:16:53Z) - MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [12.365801596593936]
我々は、事前学習タスクを二項分類問題としてモデル化し、暗黙的なコントラスト効果を誘導する。
既存の手法とは異なり、提案した損失関数は正対と負対の相互情報を最適化する。
提案手法は,ベンチマークデータセット上でのSOTA自己教師型コントラストフレームワークよりも優れている。
論文 参考訳(メタデータ) (2021-11-24T17:51:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。