論文の概要: Language Prompt vs. Image Enhancement: Boosting Object Detection With CLIP in Hazy Environments
- arxiv url: http://arxiv.org/abs/2604.10637v1
- Date: Sun, 12 Apr 2026 13:26:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.143308
- Title: Language Prompt vs. Image Enhancement: Boosting Object Detection With CLIP in Hazy Environments
- Title(参考訳): 言語プロンプト vs. 画像強調:CLIPによるヘイズ環境におけるオブジェクト検出の強化
- Authors: Jian Pang, Bingfeng Zhang, Jin Wang, Baodi Liu, Dapeng Tao, Weifeng Liu,
- Abstract要約: 劣化した物体はほとんど見えず、その意味が環境騒音によって弱まるため、ヘイズ環境での物体検出は困難である。
一般的なアプローチは、画像の強化によるセマンティクスの弱化であるが、これらの手法は拡張モジュールの不安定さによって制限される。
本稿では、画像の強調を伴わずに弱化セマンティクスを強化するために、言語プロンプトを用いた新しい解を提案する。
- 参考スコア(独自算出の注目度): 40.7433935066561
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object detection in hazy environments is challenging because degraded objects are nearly invisible and their semantics are weakened by environmental noise, making it difficult for detectors to identify. Common approaches involve image enhancement to boost weakened semantics, but these methods are limited by the instability of enhanced modules. This paper proposes a novel solution by employing language prompts to enhance weakened semantics without image enhancement. Specifically, we design Approximation of Mutual Exclusion (AME) to provide credible weights for Cross-Entropy Loss, resulting in CLIP-guided Cross-Entropy Loss (CLIP-CE). The provided weights assess the semantic weakening of objects. Through the backpropagation of CLIP-CE, weakened semantics are enhanced, making degraded objects easier to detect. In addition, we present Fine-tuned AME (FAME) which adaptively fine-tunes the weight of AME based on the predicted confidence. The proposed FAME compensates for the imbalanced optimization in AME. Furthermore, we present HazyCOCO, a large-scale synthetic hazy dataset comprising 61258 images. Experimental results demonstrate that our method achieves state-of-the-art performance. The code and dataset will be released.
- Abstract(参考訳): 劣化した物体がほとんど見えず、その意味が環境ノイズによって弱くなり、検出者が識別することが難しくなるため、ヘイズ環境での物体検出は困難である。
一般的なアプローチは、画像の強化によるセマンティクスの弱化であるが、これらの手法は拡張モジュールの不安定さによって制限される。
本稿では、画像の強調を伴わずに弱化セマンティクスを強化するために、言語プロンプトを用いた新しい解を提案する。
具体的には,CLIP誘導型クロスエントロピー損失(CLIP-CE)が生じるクロスエントロピー損失に対して,信頼性の高い重みを与えるために,相互排他近似(AME)を設計する。
提供された重みは、オブジェクトのセマンティック弱みを評価する。
CLIP-CEのバックプロパゲーションにより、弱いセマンティクスが強化され、劣化したオブジェクトの検出が容易になる。
さらに、予測された信頼度に基づいてAMEの重みを適応的に微調整するファインチューニングAME(FAME)を提案する。
提案したFAMEは、AMEにおける不均衡最適化を補償する。
さらに,61258枚の画像からなる大規模合成ヘイズデータセットHazyCOCOを提案する。
実験により,本手法が最先端性能を実現することを示す。
コードとデータセットがリリースされる。
関連論文リスト
- SeFENet: Robust Deep Homography Estimation via Semantic-Driven Feature Enhancement [14.1936051404987]
厳しい環境で撮影された画像は、しばしばぼやけた細部、コントラストの低減、色歪みを示す。
本稿では,SeFENetと呼ばれる,ロバストなホモグラフィ推定のための意味駆動型機能拡張ネットワークを提案する。
SeFENetはSOTA法を著しく上回り,大規模データセット上での点一致誤差を少なくとも41%低減することを示した。
論文 参考訳(メタデータ) (2024-12-09T10:04:14Z) - Source-Free Domain Adaptive Object Detection with Semantics Compensation [54.00183496587841]
Weak-to-strong Semantics Compensation (WSCo)を導入する。
WSCoは、クラス関連セマンティクスを補う。
WSCoは一般的なプラグインとして実装することができ、既存のSFODパイプラインと容易に統合できます。
論文 参考訳(メタデータ) (2024-10-07T23:32:06Z) - Semantic Deep Hiding for Robust Unlearnable Examples [33.68037533119807]
深層学習モデルを誤解させ、データを不正な探索から防ぐために、未学習例が提案されている。
本稿では,高次特徴に富んだセマンティック画像を適応的に隠蔽するDeep Hiding方式を提案する。
提案手法は学習不可能な事例に対して顕著なロバスト性を示し,その有効性を示す。
論文 参考訳(メタデータ) (2024-06-25T08:05:42Z) - PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant
Semantic Segmentation [50.556961575275345]
対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。
我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-08-08T01:55:44Z) - CamDiff: Camouflage Image Augmentation via Diffusion Model [83.35960536063857]
CamDiffは、カモフラージュされたシーンで透明なオブジェクトを合成するための新しいアプローチだ。
我々は,潜伏拡散モデルを用いて,カモフラージュされたシーンで有能な物体を合成する。
当社のアプローチでは、フレキシブルな編集と大規模データセットの効率的な生成を低コストで実現している。
論文 参考訳(メタデータ) (2023-04-11T19:37:47Z) - Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
本研究では,セマンティックデータ拡張法 (SDA) を提案する。
また,適応的セマンティックデータ拡張 (ASDA) を提案する。
最先端の結果は、挑戦的なベンチマークで得られます。
論文 参考訳(メタデータ) (2020-08-03T07:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。