論文の概要: Pix2Next: Leveraging Vision Foundation Models for RGB to NIR Image Translation
- arxiv url: http://arxiv.org/abs/2409.16706v1
- Date: Wed, 25 Sep 2024 07:51:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:00:58.096441
- Title: Pix2Next: Leveraging Vision Foundation Models for RGB to NIR Image Translation
- Title（参考訳）: Pix2Next:RGBからNIR画像変換のためのビジョンファウンデーションモデルを活用する
- Authors: Youngwan Jin, Incheol Park, Hanbin Song, Hyeongjin Ju, Yagiz Nalcakan, Shiho Kim,
- Abstract要約: RGB入力から高画質近赤外(NIR)画像を生成する新しい画像画像変換フレームワークPix2Nextを提案する。
マルチスケールのPatchGAN識別器は、様々な詳細レベルでリアルな画像生成を保証し、慎重に設計された損失関数は、グローバルなコンテキスト理解と局所的な特徴保存を結びつける。
提案手法により、追加のデータ取得やアノテーションの取り組みなしに、NIRデータセットのスケールアップが可能となり、NIRベースのコンピュータビジョンアプリケーションの進歩が加速する可能性がある。
- 参考スコア（独自算出の注目度）: 0.536022165180739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes Pix2Next, a novel image-to-image translation framework designed to address the challenge of generating high-quality Near-Infrared (NIR) images from RGB inputs. Our approach leverages a state-of-the-art Vision Foundation Model (VFM) within an encoder-decoder architecture, incorporating cross-attention mechanisms to enhance feature integration. This design captures detailed global representations and preserves essential spectral characteristics, treating RGB-to-NIR translation as more than a simple domain transfer problem. A multi-scale PatchGAN discriminator ensures realistic image generation at various detail levels, while carefully designed loss functions couple global context understanding with local feature preservation. We performed experiments on the RANUS dataset to demonstrate Pix2Next's advantages in quantitative metrics and visual quality, improving the FID score by 34.81% compared to existing methods. Furthermore, we demonstrate the practical utility of Pix2Next by showing improved performance on a downstream object detection task using generated NIR data to augment limited real NIR datasets. The proposed approach enables the scaling up of NIR datasets without additional data acquisition or annotation efforts, potentially accelerating advancements in NIR-based computer vision applications.
- Abstract（参考訳）: 本稿では,RGB入力から高画質近赤外(NIR)画像を生成することの課題に対処するために,新しい画像から画像への変換フレームワークPix2Nextを提案する。
提案手法では,エンコーダ・デコーダアーキテクチャ内に最先端のビジョンファウンデーションモデル(VFM)を活用し,機能統合の強化にクロスアテンション機構を取り入れている。
この設計は、RGBからNIRへの変換を単純なドメイン転送問題以上のものとして扱うことで、詳細なグローバル表現をキャプチャし、重要なスペクトル特性を保存する。
マルチスケールのPatchGAN識別器は、様々な詳細レベルでリアルな画像生成を保証し、慎重に設計された損失関数は、グローバルなコンテキスト理解と局所的な特徴保存を結びつける。
我々はRANUSデータセットの実験を行い、Pix2Nextの定量的測定と視覚的品質の利点を実証し、既存の手法と比較してFIDスコアを34.81%改善した。
さらに、生成されたNIRデータを用いて、下流オブジェクト検出タスクの性能を改善し、限られた実NIRデータセットを拡張することにより、Pix2Nextの実用性を示す。
提案手法により、追加のデータ取得やアノテーションの取り組みなしに、NIRデータセットのスケールアップが可能となり、NIRベースのコンピュータビジョンアプリケーションの進歩が加速する可能性がある。
関連論文リスト
- Towards RGB-NIR Cross-modality Image Registration and Beyond [21.475871648254564]
本稿では,RGB(可視)-NIR(近赤外)クロスモダリティ画像登録の領域に着目した。
まずRGB-NIR画像登録(RGB-NIR-IRegis)ベンチマークを示す。
次に、可視画像と赤外線画像の非一貫性な局所的特徴がモデル性能に与える影響を明らかにするために、いくつかの指標を設計する。
論文 参考訳（メタデータ） (2024-05-30T10:25:50Z) - NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset [53.79524776100983]
近赤外(NIR)画像を活用して、視認可能なRGB画像の復調を支援することで、この問題に対処する可能性を示している。
既存の作品では、NIR情報を効果的に活用して現実のイメージを飾ることに苦戦している。
先進デノナイジングネットワークにプラグイン・アンド・プレイ可能な効率的な選択核融合モジュール(SFM)を提案する。
論文 参考訳（メタデータ） (2024-04-12T14:54:26Z) - NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳（メタデータ） (2024-03-02T22:08:10Z) - Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB
Spectral Domain Translation [6.580484964018551]
我々は、NIRソース画像をグレースケールターゲットドメインに変換するドメイン翻訳モジュールを導入する。
プログレッシブトレーニング戦略を取り入れることで、両方のタスク領域からの統計的および意味的な知識を効率的に整合させる。
実験により、我々のMPFNetはNIR-to-RGBスペクトル領域変換タスクにおいて最先端の2.55dBより優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T13:07:45Z) - Edge-guided Multi-domain RGB-to-TIR image Translation for Training
Vision Tasks with Challenging Labels [12.701191873813583]
注釈付き熱赤外(TIR)画像データセットの不足は、TIR画像ベースのディープラーニングネットワークを妨害し、RGBと同等の性能を持つ。
本稿では,エッジ保存に着目したマルチドメインRGBからTIRへの変換モデルを提案する。
我々は、終点誤差を平均56.5%改善した深部TIR画像に基づく光フロー推定と物体検出の教師あり学習を可能にし、最高の物体検出mAPは23.9%とした。
論文 参考訳（メタデータ） (2023-01-30T06:44:38Z) - Physically-Based Face Rendering for NIR-VIS Face Recognition [165.54414962403555]
近赤外(NIR)と可視(VIS)の顔マッチングは、大きなドメインギャップのために困難である。
NIR-VIS対顔画像生成のための新しい手法を提案する。
アイデンティティ特徴学習を容易にするために,IDentityに基づく最大平均離散性(ID-MMD)損失を提案する。
論文 参考訳（メタデータ） (2022-11-11T18:48:16Z) - CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient
Object Detection [144.66411561224507]
本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。
我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
論文 参考訳（メタデータ） (2022-10-06T11:59:19Z) - Cross-modality Discrepant Interaction Network for RGB-D Salient Object
Detection [78.47767202232298]
本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。
2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。
我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
論文 参考訳（メタデータ） (2021-08-04T11:24:42Z) - Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic
and Texture Clues [6.437931036166344]
近赤外(NIR)イメージングは、低照度イメージングのシナリオに広く応用されている。
人間やアルゴリズムが無色のNIRドメインの実際のシーンを知覚することは困難である。
セマンティックおよびテクスチャのアダプティブフュージョンを用いた注意に基づく新しいNIR画像カラー化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-20T03:00:51Z) - Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。
我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。
実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文 参考訳（メタデータ） (2021-01-26T18:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。