論文の概要: LadleNet: A Two-Stage UNet for Infrared Image to Visible Image Translation Guided by Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2308.06603v3
• Date: Mon, 15 Apr 2024 03:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 23:57:12.065670
• Title: LadleNet: A Two-Stage UNet for Infrared Image to Visible Image Translation Guided by Semantic Segmentation
• Title（参考訳）: LadleNet: セマンティックセグメンテーションでガイドされた赤外線画像から可視画像への変換のための2段階UNet
• Authors: Tonghui Zou, Lei Chen,
• Abstract要約: 本稿では,LadleNetと呼ばれるU-netに基づく画像翻訳アルゴリズムを提案する。 LadleNet+は、LadleNetのHandleモジュールをトレーニング済みのDeepLabv3+ネットワークに置き換える。 従来の方法と比較して、LadleNetとLadleNet+は平均12.4%、SSIMは15.2%、MS-SSIMは37.9%、MS-SSIMは50.6%だった。
• 参考スコア（独自算出の注目度）: 5.125530969984795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The translation of thermal infrared (TIR) images into visible light (VI) images plays a critical role in enhancing model performance and generalization capability, particularly in various fields such as registration and fusion of TIR and VI images. However, current research in this field faces challenges of insufficiently realistic image quality after translation and the difficulty of existing models in adapting to unseen scenarios. In order to develop a more generalizable image translation architecture, we conducted an analysis of existing translation architectures. By exploring the interpretability of intermediate modalities in existing translation architectures, we found that the intermediate modality in the image translation process for street scene images essentially performs semantic segmentation, distinguishing street images based on background and foreground patterns before assigning color information. Based on these principles, we propose an improved algorithm based on U-net called LadleNet. This network utilizes a two-stage U-net concatenation structure, consisting of Handle and Bowl modules. The Handle module is responsible for constructing an abstract semantic space, while the Bowl module decodes the semantic space to obtain the mapped VI image. Due to the characteristic of semantic segmentation, the Handle module has strong extensibility. Therefore, we also propose LadleNet+, which replaces the Handle module in LadleNet with a pre-trained DeepLabv3+ network, enabling the model to have a more powerful capability in constructing semantic space. The proposed methods were trained and tested on the KAIST dataset, followed by quantitative and qualitative analysis. Compared to existing methods, LadleNet and LadleNet+ achieved an average improvement of 12.4% and 15.2% in SSIM metrics, and 37.9% and 50.6% in MS-SSIM metrics, respectively.
• Abstract（参考訳）: 熱赤外(TIR)画像の可視光(VI)画像への変換は、特にTIR画像とVI画像の登録や融合など様々な分野において、モデル性能と一般化能力の向上に重要な役割を果たしている。 しかし、この分野での現在の研究は、翻訳後の画像品質が不十分なことや、既存のモデルが目に見えないシナリオに適応することの難しさに直面する。 より一般化可能な画像翻訳アーキテクチャを開発するために,既存の翻訳アーキテクチャの解析を行った。 既存の翻訳アーキテクチャにおける中間モダリティの解釈可能性を探ることにより,ストリートシーン画像の中間モダリティが本質的にセマンティックセグメンテーションを行い,背景パターンと前景パターンに基づいてストリートイメージを識別し,色情報を割り当てる。 これらの原理に基づいて,LadleNetと呼ばれるU-netに基づく改良アルゴリズムを提案する。 このネットワークは、ハンドルとボウルのモジュールからなる2段階のU-net結合構造を利用している。 Handleモジュールは抽象的なセマンティック空間の構築に責任を持ち、Cowモジュールはセマンティック空間をデコードしてマッピングされたVI画像を取得する。 セマンティックセグメンテーションの特徴から、Handleモジュールは拡張性が高い。 そこで本研究では,LadleNetのHandleモジュールをトレーニング済みのDeepLabv3+ネットワークに置き換えたLadleNet+を提案する。 提案手法は, KAISTデータセットを用いて, 定量的, 定性的な分析を行った。 従来の方法と比較して、LadleNetとLadleNet+は平均12.4%、SSIMは15.2%、MS-SSIMは37.9%、MS-SSIMは50.6%だった。

関連論文リスト

• Semantic Segmentation for Real-World and Synthetic Vehicle's Forward-Facing Camera Images [0.8562182926816566]
  これは、車両の前向きカメラからの実世界の画像と合成画像の両方におけるセマンティックセグメンテーション問題の解決策である。 我々は、さまざまな屋外状況の様々な領域でよく機能するロバストモデルの構築に集中する。 本稿では,意味的セグメンテーション問題における領域適応のための実世界のデータと合成データの併用の有効性について検討する。
  論文  参考訳（メタデータ） (2024-07-07T17:28:45Z)
• Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
  合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。 既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。 本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:58:03Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• Interpretable Small Training Set Image Segmentation Network Originated from Multi-Grid Variational Model [5.283735137946097]
  深層学習法 (DL) が提案され, 画像分割に広く利用されている。 DLメソッドは通常、トレーニングデータとして大量の手動セグメントデータを必要とし、解釈性に乏しい。 本稿では,MSモデルにおける手作り正則項をデータ適応型一般化可学習正則項に置き換える。
  論文  参考訳（メタデータ） (2023-06-25T02:34:34Z)
• Depth- and Semantics-aware Multi-modal Domain Translation: Generating 3D Panoramic Color Images from LiDAR Point Clouds [0.7234862895932991]
  本研究は,LiDARとカメラセンサのマルチモーダル構成によるクロスドメイン画像・画像変換のための条件生成モデルであるTITAN-Nextを提案する。 我々は、これがこの種の最初のフレームワークであり、フェールセーフなメカニズムを提供し、ターゲット画像領域で利用可能なデータを増強するなど、自動運転車に実践的な応用があると主張している。
  論文  参考訳（メタデータ） (2023-02-15T13:48:10Z)
• HGAN: Hierarchical Graph Alignment Network for Image-Text Retrieval [13.061063817876336]
  画像テキスト検索のための階層型グラフアライメントネットワーク(HGAN)を提案する。 まず、包括的マルチモーダル特徴を捉えるために、画像の特徴グラフとテキストのモダリティをそれぞれ構築する。 そして、MFAR(Multi-granularity Feature Aggregation and Rearrangement)モジュールを設計した多粒性共有空間を構築する。 最後に、最終的な画像とテキストの特徴は、階層的アライメントを達成するために、3レベル類似関数によってさらに洗練される。
  論文  参考訳（メタデータ） (2022-12-16T05:08:52Z)
• Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks [87.6494641931349]
  汎用多目的基礎モデルBEiT-3を紹介する。 視覚と視覚言語の両方のタスクで最先端の転送性能を達成する。
  論文  参考訳（メタデータ） (2022-08-22T16:55:04Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Boosting Few-shot Semantic Segmentation with Transformers [81.43459055197435]
  TRansformer-based Few-shot Semantic segmentation Method (TRFS) 我々のモデルは,グローバル・エンハンスメント・モジュール(GEM)とローカル・エンハンスメント・モジュール(LEM)の2つのモジュールから構成される。
  論文  参考訳（メタデータ） (2021-08-04T20:09:21Z)
• MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding [74.33171794972688]
  本稿では,詳細な視覚表現と視覚認識言語表現を活用することで,句オブジェクトの関連性をモデル化するアルゴリズムを提案する。 広く採用されているFlickr30kデータセットで実施された実験は、既存の弱教師付き手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-10-12T00:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。