論文の概要: LadleNet: Translating Thermal Infrared Images to Visible Light Images
Using A Scalable Two-stage U-Net
- arxiv url: http://arxiv.org/abs/2308.06603v1
- Date: Sat, 12 Aug 2023 16:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 16:22:57.106569
- Title: LadleNet: Translating Thermal Infrared Images to Visible Light Images
Using A Scalable Two-stage U-Net
- Title（参考訳）: LadleNet:スケーラブルな2段階U-Netを用いた可視光画像への熱赤外画像の変換
- Authors: Tonghui Zou
- Abstract要約: U-Netアーキテクチャに基づくアルゴリズムであるLadleNetを導入する。
LadleNetは2段階のU-Net結合構造を採用し、スキップ接続と洗練された機能集約技術で拡張されている。
本稿では,LadleNetのHandleモジュールを事前トレーニングしたDeepLabv3+ネットワークに置き換えるLadleNet+を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The translation of thermal infrared (TIR) images to visible light (VI) images
presents a challenging task with potential applications spanning various
domains such as TIR-VI image registration and fusion. Leveraging supplementary
information derived from TIR image conversions can significantly enhance model
performance and generalization across these applications. However, prevailing
issues within this field include suboptimal image fidelity and limited model
scalability. In this paper, we introduce an algorithm, LadleNet, based on the
U-Net architecture. LadleNet employs a two-stage U-Net concatenation structure,
augmented with skip connections and refined feature aggregation techniques,
resulting in a substantial enhancement in model performance. Comprising
'Handle' and 'Bowl' modules, LadleNet's Handle module facilitates the
construction of an abstract semantic space, while the Bowl module decodes this
semantic space to yield mapped VI images. The Handle module exhibits
extensibility by allowing the substitution of its network architecture with
semantic segmentation networks, thereby establishing more abstract semantic
spaces to bolster model performance. Consequently, we propose LadleNet+, which
replaces LadleNet's Handle module with the pre-trained DeepLabv3+ network,
thereby endowing the model with enhanced semantic space construction
capabilities. The proposed method is evaluated and tested on the KAIST dataset,
accompanied by quantitative and qualitative analyses. Compared to existing
methodologies, our approach achieves state-of-the-art performance in terms of
image clarity and perceptual quality. The source code will be made available at
https://github.com/Ach-1914/LadleNet/tree/main/.
- Abstract（参考訳）: 熱赤外(TIR)画像から可視光(VI)画像への変換は、TIR-VI画像の登録や融合など、様々な領域にまたがる潜在的な応用に向けた課題を示す。
TIR画像変換から得られた補助情報を活用することで、これらのアプリケーション間でのモデル性能と一般化を大幅に向上させることができる。
しかし、この分野で一般的な問題には、最適な画像の忠実さとモデルのスケーラビリティの制限が含まれる。
本稿では,U-Netアーキテクチャに基づくアルゴリズムであるLadleNetを紹介する。
LadleNetは2段階のU-Net結合構造を採用し、スキップ接続と改良された特徴集約技術で強化され、モデル性能が大幅に向上した。
ハンドル」モジュールと「ボウル」モジュールからなるladlenetのハンドルモジュールは抽象的な意味空間の構築を容易にし、ボウルモジュールはこの意味空間をデコードしてマッピングされたvi画像を生成する。
ハンドラモジュールは、ネットワークアーキテクチャをセマンティクスセグメンテーションネットワークに置き換えることで拡張性を示し、モデルの性能を高めるためにより抽象的なセマンティクス空間を確立する。
そこで我々は,LadleNetのHandleモジュールを事前学習したDeepLabv3+ネットワークに置き換えたLadleNet+を提案する。
提案手法は, 定量的および定性的分析を伴って, KAISTデータセット上で評価, 検証を行った。
既存の手法と比較して,本手法は画像の明瞭さと知覚品質の観点から最先端の性能を実現する。
ソースコードはhttps://github.com/Ach-1914/LadleNet/tree/main/で入手できる。
関連論文リスト
- Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。
我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。
異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文 参考訳（メタデータ） (2025-02-18T12:00:47Z) - ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。
スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-12T13:28:46Z) - Scale-wise Bidirectional Alignment Network for Referring Remote Sensing Image Segmentation [12.893224628061516]
リモートセンシング画像セグメンテーション(RRSIS)の目的は、自然言語表現を用いて、空中画像内の特定のピクセルレベル領域を抽出することである。
本稿では,これらの課題に対処するため,SBANet(Scale-wise Bidirectional Alignment Network)と呼ばれる革新的なフレームワークを提案する。
提案手法は,RRSIS-DとRefSegRSのデータセットにおける従来の最先端手法と比較して,優れた性能を実現する。
論文 参考訳（メタデータ） (2025-01-01T14:24:04Z) - AFANet: Adaptive Frequency-Aware Network for Weakly-Supervised Few-Shot Semantic Segmentation [37.9826204492371]
少ないショット学習は、いくつかのサンプルから学んだ事前知識を活用することで、新しい概念を認識することを目的としている。
弱教師付き少数ショットセマンティックセマンティックセグメンテーションのための適応周波数認識ネットワーク(AFANet)を提案する。
論文 参考訳（メタデータ） (2024-12-23T14:20:07Z) - Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。
既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。
本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
論文 参考訳（メタデータ） (2024-03-03T07:58:03Z) - Interpretable Small Training Set Image Segmentation Network Originated
from Multi-Grid Variational Model [5.283735137946097]
深層学習法 (DL) が提案され, 画像分割に広く利用されている。
DLメソッドは通常、トレーニングデータとして大量の手動セグメントデータを必要とし、解釈性に乏しい。
本稿では,MSモデルにおける手作り正則項をデータ適応型一般化可学習正則項に置き換える。
論文 参考訳（メタデータ） (2023-06-25T02:34:34Z) - Depth- and Semantics-aware Multi-modal Domain Translation: Generating 3D Panoramic Color Images from LiDAR Point Clouds [0.7234862895932991]
本研究は,LiDARとカメラセンサのマルチモーダル構成によるクロスドメイン画像・画像変換のための条件生成モデルであるTITAN-Nextを提案する。
我々は、これがこの種の最初のフレームワークであり、フェールセーフなメカニズムを提供し、ターゲット画像領域で利用可能なデータを増強するなど、自動運転車に実践的な応用があると主張している。
論文 参考訳（メタデータ） (2023-02-15T13:48:10Z) - Image as a Foreign Language: BEiT Pretraining for All Vision and
Vision-Language Tasks [87.6494641931349]
汎用多目的基礎モデルBEiT-3を紹介する。
視覚と視覚言語の両方のタスクで最先端の転送性能を達成する。
論文 参考訳（メタデータ） (2022-08-22T16:55:04Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳（メタデータ） (2022-06-30T18:31:51Z) - MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase
Grounding [74.33171794972688]
本稿では,詳細な視覚表現と視覚認識言語表現を活用することで,句オブジェクトの関連性をモデル化するアルゴリズムを提案する。
広く採用されているFlickr30kデータセットで実施された実験は、既存の弱教師付き手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2020-10-12T00:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。