論文の概要: Towards Real-World Adverse Weather Image Restoration: Enhancing Clearness and Semantics with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2409.02101v1
- Date: Tue, 3 Sep 2024 17:56:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 00:04:31.230251
- Title: Towards Real-World Adverse Weather Image Restoration: Enhancing Clearness and Semantics with Vision-Language Models
- Title（参考訳）: 現実の逆気象画像復元に向けて : 視覚言語モデルによる透明度とセマンティックスの向上
- Authors: Jiaqi Xu, Mengyang Wu, Xiaowei Hu, Chi-Wing Fu, Qi Dou, Pheng-Ann Heng,
- Abstract要約: 実環境下での復元性能を高めるために,視覚言語モデルを用いた半教師付き学習フレームワークを定式化する。
クリアネス向上のために、視覚言語モデルと天気予報学習によって評価された擬似ラベルを用いた2段階戦略を用いて、実世界のデータを利用する。
セマンティックエンハンスメントのために,意味を保ちながら視覚言語モデル記述の天気条件を調整し,実世界のデータを統合する。
- 参考スコア（独自算出の注目度）: 85.53913950137175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the limitations of adverse weather image restoration approaches trained on synthetic data when applied to real-world scenarios. We formulate a semi-supervised learning framework employing vision-language models to enhance restoration performance across diverse adverse weather conditions in real-world settings. Our approach involves assessing image clearness and providing semantics using vision-language models on real data, serving as supervision signals for training restoration models. For clearness enhancement, we use real-world data, utilizing a dual-step strategy with pseudo-labels assessed by vision-language models and weather prompt learning. For semantic enhancement, we integrate real-world data by adjusting weather conditions in vision-language model descriptions while preserving semantic meaning. Additionally, we introduce an effective training strategy to bootstrap restoration performance. Our approach achieves superior results in real-world adverse weather image restoration, demonstrated through qualitative and quantitative comparisons with state-of-the-art works.
- Abstract（参考訳）: 本稿では,実世界のシナリオに適用した場合に,合成データに基づいてトレーニングした悪天候画像復元手法の限界について論じる。
本研究では、視覚言語モデルを用いた半教師付き学習フレームワークを定式化し、現実世界のさまざまな悪天候環境における復元性能を向上させる。
提案手法では,画像の明瞭度を評価し,実データ上で視覚言語モデルを用いて意味情報を提供し,復元モデルのトレーニングのための監視信号として機能する。
クリアネス向上のために、視覚言語モデルと天気予報学習によって評価された擬似ラベルを用いた2段階戦略を用いて、実世界のデータを利用する。
セマンティックエンハンスメントのために,意味を保ちながら視覚言語モデル記述の天気条件を調整し,実世界のデータを統合する。
さらに,復元性能のブートストラップに効果的なトレーニング戦略を導入する。
本手法は, 実世界の悪天候画像復元において, 定性的, 定量的な比較を行った結果, 優れた結果が得られた。
関連論文リスト
- Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。
合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。
提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
論文 参考訳（メタデータ） (2024-03-28T22:25:05Z) - WeatherProof: A Paired-Dataset Approach to Semantic Segmentation in
Adverse Weather [9.619700283574533]
本稿では,悪天候条件下での画像の性能向上につながる一般的なペア学習手法を提案する。
我々は、正確な晴天と悪天候画像のペアで、最初のセマンティックセグメンテーションデータセットを作成する。
その結果,これら2組の晴天フレームと悪天候フレームのトレーニングにより,悪天候データの性能が向上することが判明した。
論文 参考訳（メタデータ） (2023-12-15T04:57:54Z) - ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文 参考訳（メタデータ） (2023-12-14T15:53:07Z) - WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions [42.99525455786019]
カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。
提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
論文 参考訳（メタデータ） (2023-10-09T09:26:27Z) - Localization vs. Semantics: Visual Representations in Unimodal and
Multimodal Models [57.08925810659545]
既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。
我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。
我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
論文 参考訳（メタデータ） (2022-12-01T05:00:18Z) - Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。
本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
論文 参考訳（メタデータ） (2022-10-18T17:01:35Z) - Restoring Vision in Adverse Weather Conditions with Patch-Based
Denoising Diffusion Models [8.122270502556374]
本稿では,拡散確率モデルに基づく新しいパッチベースの画像復元アルゴリズムを提案する。
我々は,気象特性とマルチウェザー画像復元の両面において,最先端の性能を実現するためのアプローチを実証する。
論文 参考訳（メタデータ） (2022-07-29T11:52:41Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳（メタデータ） (2022-04-23T01:30:47Z) - Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。
画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。
私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
論文 参考訳（メタデータ） (2020-03-27T21:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。