論文の概要: ROMA: Cross-Domain Region Similarity Matching for Unpaired Nighttime Infrared to Daytime Visible Video Translation

• arxiv url: http://arxiv.org/abs/2204.12367v1
• Date: Tue, 26 Apr 2022 15:08:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 13:56:33.666806
• Title: ROMA: Cross-Domain Region Similarity Matching for Unpaired Nighttime Infrared to Daytime Visible Video Translation
• Title（参考訳）: ROMA: 夜間赤外線と昼夜可視ビデオ翻訳のためのクロスドメイン領域類似性マッチング
• Authors: Zhenjie Yu, Kai Chen, Shuang Li, Bingfeng Han, Chi Harold Liu and Shuigen Wang
• Abstract要約: 夜間の赤外線と昼間の可視ビデオは、同時に撮影されたペアビデオよりも大きい。 本稿では,cRoss- domain regiOn siMilarity mAtching技術を用いて,大きなギャップを埋めるためのフレームワークROMAを提案する。 我々は、夜間の赤外線と昼間の可視ビデオ翻訳のさらなる研究を奨励する新しい、挑戦的なデータセットを提供する。
• 参考スコア（独自算出の注目度）: 33.96130720406588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared cameras are often utilized to enhance the night vision since the visible light cameras exhibit inferior efficacy without sufficient illumination. However, infrared data possesses inadequate color contrast and representation ability attributed to its intrinsic heat-related imaging principle. This makes it arduous to capture and analyze information for human beings, meanwhile hindering its application. Although, the domain gaps between unpaired nighttime infrared and daytime visible videos are even huger than paired ones that captured at the same time, establishing an effective translation mapping will greatly contribute to various fields. In this case, the structural knowledge within nighttime infrared videos and semantic information contained in the translated daytime visible pairs could be utilized simultaneously. To this end, we propose a tailored framework ROMA that couples with our introduced cRoss-domain regiOn siMilarity mAtching technique for bridging the huge gaps. To be specific, ROMA could efficiently translate the unpaired nighttime infrared videos into fine-grained daytime visible ones, meanwhile maintain the spatiotemporal consistency via matching the cross-domain region similarity. Furthermore, we design a multiscale region-wise discriminator to distinguish the details from synthesized visible results and real references. Extensive experiments and evaluations for specific applications indicate ROMA outperforms the state-of-the-art methods. Moreover, we provide a new and challenging dataset encouraging further research for unpaired nighttime infrared and daytime visible video translation, named InfraredCity. In particular, it consists of 9 long video clips including City, Highway and Monitor scenarios. All clips could be split into 603,142 frames in total, which are 20 times larger than the recently released daytime infrared-to-visible dataset IRVI.
• Abstract（参考訳）: 可視光カメラは十分な照明を施すことなく効果が劣るため、赤外線カメラは夜視を強化するためにしばしば利用される。 しかし、赤外線データは固有の熱関連イメージング原理に起因する色コントラストと表現能力が不十分である。 これにより、人間の情報をキャプチャして分析することが難しくなり、一方でその応用を妨げます。 しかし、非ペアの夜間赤外線映像と昼間の可視映像の領域ギャップは、同時に撮影されたペア映像よりもさらに大きいが、効果的な翻訳マッピングを確立することは、様々な分野に大きく貢献する。 この場合、夜間赤外線映像における構造知識と、翻訳された昼間可視対に含まれる意味情報を同時に利用することができる。 この目的のために、我々はcRoss- domain regiOn siMilarity mAtching技術と組み合わせて巨大なギャップを埋めるフレームワークROMAを提案する。 具体的には、ROMAは、未使用の夜間赤外線映像を日中の細粒度に翻訳すると同時に、ドメイン間の類似性を一致させることで、時空間一貫性を維持することができる。 さらに,合成された可視結果と実参照とを区別するために,マルチスケールの地域別判別器を設計した。 特定の用途に対する大規模な実験と評価は、ROMAが最先端の手法よりも優れていることを示している。 さらに、夜間の赤外線と昼間の可視光ビデオ翻訳のさらなる研究を奨励する新しい挑戦的データセットInfraredCityを提供する。 特に、都市、高速道路、監視シナリオを含む9つの長いビデオクリップで構成されている。 すべてのクリップを合計603,142フレームに分割することができる。

関連論文リスト

• TC-PDM: Temporally Consistent Patch Diffusion Models for Infrared-to-Visible Video Translation [25.542902579879367]
  本稿では,TC-DPM(Temporally Consistent Patch Diffusion Models)と呼ばれる新しい拡散法を提案する。 本手法は生成した可視画像の意味的構造を忠実に保存する。 TC-PDMは、赤外線可視ビデオ翻訳のFVDの35.3%、昼夜物体検出のAP50の6.1%で、最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-26T12:43:48Z)
• ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
  LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。 我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。 提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
  論文  参考訳（メタデータ） (2024-07-22T02:51:29Z)
• NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes [49.92839157944134]
  夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。 雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。 雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
  論文  参考訳（メタデータ） (2024-02-28T09:02:33Z)
• Non-Contact NIR PPG Sensing through Large Sequence Signal Regression [0.0]
  非接触センシング(non-Contact sensor)は、自動車の運転監視から医療の患者監視まで、多くの業界で応用されている新興技術である。 現在最先端のRGBビデオに焦点が当てられているが、これは様々な/ノイズの多い光条件で苦戦しており、暗闇ではほとんど不可能だ。しかし、近赤外線(NIR)ビデオは、これらの制約に苦しむことはない。 本稿では,NIRフレームのシーケンスから光胸腺造影(NIR)信号を取り出すために,代替のConvolution Attention Network(CAN)アーキテクチャの有効性を実証することを目的とする。
  論文  参考訳（メタデータ） (2023-11-20T13:34:51Z)
• Boosting Night-time Scene Parsing with Learnable Frequency [53.05778451012621]
  NTSP(Night-Time Scene Parsing)は多くの視覚アプリケーション、特に自律運転に必須である。 既存の手法のほとんどは日中シーン解析のために提案されている。 提案手法は,NightCity,NightCity+およびBDD100K-nightデータセットの最先端手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2022-08-30T13:09:59Z)
• Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario [87.72258480670627]
  既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。 本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
  論文  参考訳（メタデータ） (2022-07-05T09:27:53Z)
• I2V-GAN: Unpaired Infrared-to-Visible Video Translation [14.156053075519207]
  本稿では,赤外線映像の可視光映像を生成するために,赤外線可視(I2V)ビデオ翻訳方式I2V-GANを提案する。 本モデルでは,1)実物に類似した合成フレームを生成するための対角的制約,2)効果的なコンテンツ変換のための知覚的損失に対する循環的整合性,3)ドメイン内およびドメイン内における相似性制約,の3つの制約を重んじる。 実験により、I2V-GANは、より高い流速とより微細なセマンティックディテールを持つI2Vビデオの翻訳において、比較したSOTA法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-02T14:04:19Z)
• An Integrated Enhancement Solution for 24-hour Colorful Imaging [51.782600936647235]
  24時間屋外イメージングの現在の業界慣行は、近赤外線(NIR)照明を付加したシリコンカメラを使用することである。 その結果、昼間はコントラストが低く、夜間は色覚が欠如する。 そこで本研究では,日光の日中や夜間の夜間に鮮明な色画像を生成する,新規で統合された拡張ソリューションを提案する。
  論文  参考訳（メタデータ） (2020-05-10T05:11:34Z)
• Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning [59.19469551774703]
  ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。 我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。 私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
  論文  参考訳（メタデータ） (2020-03-05T05:29:44Z)
• Translating multispectral imagery to nighttime imagery via conditional generative adversarial networks [24.28488767429697]
  本研究では,マルチスペクトル画像から夜間画像への変換における条件付きジェネレーティブ・アドバイサル・ネットワーク(cGAN)の可能性について検討する。 一般的なcGANフレームワークであるpix2pixが採用され、この翻訳を容易にするために修正された。 追加のソーシャルメディアデータにより、生成された夜間画像は、地上の真実の画像と非常によく似ている。
  論文  参考訳（メタデータ） (2019-12-28T03:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。