論文の概要: CapHDR2IR: Caption-Driven Transfer from Visible Light to Infrared Domain

• arxiv url: http://arxiv.org/abs/2411.16327v1
• Date: Mon, 25 Nov 2024 12:23:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:20:19.495547
• Title: CapHDR2IR: Caption-Driven Transfer from Visible Light to Infrared Domain
• Title（参考訳）: CapHDR2IR:可視光から赤外線領域へのカプセル駆動転送
• Authors: Jingchao Peng, Thomas Bashford-Rogers, Zhuang Shao, Haitao Zhao, Aru Ranjan Singh, Abhishek Goswami, Kurt Debattista,
• Abstract要約: 赤外線(IR)イメージングは、極端光条件下でコンテンツをキャプチャするユニークな能力のため、いくつかの分野で利点がある。 代替として、可視光は赤外線画像の合成に使用できるが、それによって画像の細部への忠実さが失われ、シーンの文脈的認識の欠如により不整合が生じる。
• 参考スコア（独自算出の注目度）: 7.007302908953179
• License:
• Abstract: Infrared (IR) imaging offers advantages in several fields due to its unique ability of capturing content in extreme light conditions. However, the demanding hardware requirements of high-resolution IR sensors limit its widespread application. As an alternative, visible light can be used to synthesize IR images but this causes a loss of fidelity in image details and introduces inconsistencies due to lack of contextual awareness of the scene. This stems from a combination of using visible light with a standard dynamic range, especially under extreme lighting, and a lack of contextual awareness can result in pseudo-thermal-crossover artifacts. This occurs when multiple objects with similar temperatures appear indistinguishable in the training data, further exacerbating the loss of fidelity. To solve this challenge, this paper proposes CapHDR2IR, a novel framework incorporating vision-language models using high dynamic range (HDR) images as inputs to generate IR images. HDR images capture a wider range of luminance variations, ensuring reliable IR image generation in different light conditions. Additionally, a dense caption branch integrates semantic understanding, resulting in more meaningful and discernible IR outputs. Extensive experiments on the HDRT dataset show that the proposed CapHDR2IR achieves state-of-the-art performance compared with existing general domain transfer methods and those tailored for visible-to-infrared image translation.
• Abstract（参考訳）: 赤外線(IR)イメージングは、極端光条件下でコンテンツをキャプチャするユニークな能力のため、いくつかの分野で利点がある。 しかし、高解像度赤外線センサーの要求されるハードウェア要件は、その適用範囲を制限している。 代替として、可視光は赤外線画像の合成に使用できるが、それによって画像の細部への忠実さが失われ、シーンの文脈的認識の欠如により不整合が生じる。 これは、特に極端な照明の下で、可視光と標準的なダイナミックレンジの組み合わせから来ており、文脈的認識の欠如により、擬熱的クロスオーバーアーティファクトが生じる可能性がある。 これは、トレーニングデータに類似した温度の複数の物体が識別不能に見える場合に起こり、さらに忠実さの喪失が悪化する。 この課題を解決するために,高ダイナミックレンジ(HDR)画像を入力として用いた視覚言語モデルを用いた新しいフレームワークであるCapHDR2IRを提案する。 HDR画像はより広い範囲の輝度変化を捉え、異なる光条件下で信頼性の高い赤外線画像を生成する。 さらに、高密度キャプションブランチは意味理解を統合し、より有意義で識別可能なIR出力をもたらす。 HDRTデータセットの大規模な実験により、提案したCapHDR2IRは、既存の一般的なドメイン転送法や、可視光から赤外線への画像変換に適したものと比較して、最先端の性能を達成することが示された。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• HDRT: Infrared Capture for HDR Imaging [8.208995723545502]
  本稿では,高ダイナミックレンジサーマル(HDRT, High Dynamic Range Thermal)という,別途利用可能な赤外線センサを用いたHDR取得手法を提案する。 本稿では、赤外線とSDRを組み合わせてHDR画像を生成する新しいディープニューラルネットワーク(HDRTNet)を提案する。 オーバー露光画像とアンダー露光画像の量的および定性的な品質向上を示すとともに,複数の異なる照明条件下での撮影に頑健であることを示す。
  論文  参考訳（メタデータ） (2024-06-08T13:43:44Z)
• NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset [53.79524776100983]
  近赤外(NIR)画像を活用して、視認可能なRGB画像の復調を支援することで、この問題に対処する可能性を示している。 既存の作品では、NIR情報を効果的に活用して現実のイメージを飾ることに苦戦している。 先進デノナイジングネットワークにプラグイン・アンド・プレイ可能な効率的な選択核融合モジュール(SFM)を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:54:26Z)
• Event-based Asynchronous HDR Imaging by Temporal Incident Light Modulation [54.64335350932855]
  我々は,HDRイメージングの課題に関する重要な知見に基づいて,Pixel-Asynchronous HDRイメージングシステムを提案する。 提案システムでは,DVS(Dynamic Vision Sensors)とLCDパネルを統合する。 LCDパネルは、その透過性を変化させてDVSの照射インシデントを変調し、ピクセル非依存のイベントストリームをトリガーする。
  論文  参考訳（メタデータ） (2024-03-14T13:45:09Z)
• Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
  高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。 DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。 拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
  論文  参考訳（メタデータ） (2023-11-02T01:53:55Z)
• Self-Supervised High Dynamic Range Imaging with Multi-Exposure Images in Dynamic Scenes [58.66427721308464]
  Selfは、訓練中にダイナミックなマルチ露光画像のみを必要とする自己教師型再構成手法である。 Selfは最先端の自己管理手法に対して優れた結果を出し、教師付き手法に匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-10-03T07:10:49Z)
• Enhancing Low-Light Images Using Infrared-Encoded Images [81.8710581927427]
  従来の芸術は、主にピクセルワイド・ロスを用いて可視光スペクトルで捉えた低照度画像に焦点を当てていた。 我々は,赤外線カットオフフィルタを除去することにより,低照度環境下で撮影された画像の可視性を高める新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T08:29:19Z)
• Visibility Constrained Wide-band Illumination Spectrum Design for Seeing-in-the-Dark [38.11468156313255]
  Seeing-in-the-darkは、コンピュータビジョンのタスクの中で、最も重要で挑戦的なタスクの1つだ。 本稿では,広帯域VIS-NIR領域における補助照明の最適スペクトルを設計することにより,NIR2RGB翻訳の堅牢化を図る。
  論文  参考訳（メタデータ） (2023-03-21T07:27:37Z)
• Multi-Exposure HDR Composition by Gated Swin Transformer [8.619880437958525]
  本稿では,Swin Transformerに基づく新しいマルチ露光融合モデルを提案する。 露光空間ピラミッドにおける遠距離文脈依存性を自己認識機構により活用する。 実験により,本モデルが現在のマルチ露光HDR画像モデルと同等の精度が得られることが示された。
  論文  参考訳（メタデータ） (2023-03-15T15:38:43Z)
• Deep Snapshot HDR Imaging Using Multi-Exposure Color Filter Array [14.5106375775521]
  本稿では,有効損失と入力データの正規化を同時に実現する輝度正規化の考え方を紹介する。 2つの公開HDR画像データセットを用いた実験結果から,我々のフレームワークが他のスナップショット手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-11-20T06:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。