論文の概要: MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation
- arxiv url: http://arxiv.org/abs/2607.06552v1
- Date: Tue, 07 Jul 2026 17:53:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.615907
- Title: MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation
- Title（参考訳）: モノIR-RS:CLIPとVLM適応を用いた赤外線リモートセンシングビジョンランゲージ学習
- Abstract要約: MonoIR-RSは、大規模な赤外線リモートセンシングビジョン言語データセットである。
IR対応データ構築とCLIPスタイルのコントラスト適応とVLM命令チューニングを結合する。
合成した赤外線画像は、グレースケール変換よりも実際の熱画像に近いことが示される。
- 参考スコア（独自算出の注目度）: 12.037405766509274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Infrared remote-sensing imagery captures intensity structure, object-background contrast, and illumination-invariant cues often invisible in RGB imagery. Yet, most remote-sensing vision-language resources and models focus on visible-band semantics, leaving infrared vision-language understanding underexplored. We introduce MonoIR-RS, a large-scale infrared remote-sensing vision-language dataset and benchmark that couples IR-aware data construction with CLIP-style contrastive adaptation and VLM instruction tuning. Built from the same source pool and split as FusionRS, MonoIR-RS retains the infrared image as the model-facing modality, yielding 600,000 synthesized infrared images and 59,032 retained IR-aware caption records. The model experiments use this retained language-supervision subset, whose captions rewrite supervision around grayscale structure and infrared-style contrast instead of RGB appearance. We show that the synthesized infrared imagery is markedly closer to real thermal imagery than a grayscale conversion on the AVIID benchmark. We fine-tune five CLIP backbones and six VLM backbones, and calibrate them against zero-shot behavior: IR-aware adaptation lifts CLIP mean recall by up to 12.8 points and drives VLM captioning IR-cue coverage to 100% while reducing residual RGB-color leakage to near zero. By isolating the infrared modality from RGB-IR dual-modal learning, MonoIR-RS offers a controlled, reproducible testbed for aligning infrared remote-sensing evidence with language.
- Abstract（参考訳）: 赤外線リモートセンシング画像は、RGB画像においてしばしば見えない強度構造、物体-背景コントラスト、照明不変の手がかりをキャプチャする。
しかし、ほとんどのリモートセンシングされた視覚言語リソースとモデルは可視帯域意味論に重点を置いており、赤外線視覚言語理解は未解明のままである。
大規模赤外線リモートセンシング型視覚言語データセットであるMonoIR-RSを導入し、CLIPスタイルのコントラスト適応とVLMインストラクションチューニングをIR対応データ構築と組み合わせたベンチマークを行った。
同じソースプールから構築されFusionRSとして分割されたMonoIR-RSは、赤外線画像をモデルとして保持し、60,000個の合成赤外線画像と59,032個のIR対応キャプション記録を生成する。
モデル実験では、保持された言語スーパービジョンサブセットを使用し、キャプションはRGBの外観ではなく、グレースケール構造と赤外線スタイルのコントラストに関する監督を書き換える。
合成した赤外線画像は、AVIIDベンチマークのグレースケール変換よりも、実際の熱画像に近いことが示される。
5つのCLIPバックボーンと6つのVLMバックボーンを微調整し、ゼロショット動作に対して校正する: IR対応は、CLIP平均リコールを最大12.8ポイント引き上げ、VLMキャプションのIRキューカバレッジを100%にし、残りのRGBカラーリークをほぼゼロに削減する。
RGB-IRデュアルモーダル学習から赤外線モダリティを分離することにより、MonoIR-RSは、制御された再現可能なテストベッドを提供し、赤外線リモートセンシングの証拠を言語と整合させる。
関連論文リスト
- RGB-to-IR image translation for infrared vehicle detection in unseen UAV domains [0.6475189298553835]
本研究は、近代的な生成トランスレータが、このクロスモーダルギャップを克服し、見えないUAVターゲット領域における赤外線車両検出を改善することができるかどうかを考察する。
トランスレータは、ペア化されたRGB-IRソースデータセットでトレーニングされ、保持されたターゲットデータセットからのRGBトレーニングイメージに適用され、合成IRデータを生成する。
合成IR画像はRF-DETR車両検出器の訓練に使用され、これは5つの航空データセットにまたがる未確認のIRターゲットテストの分割に基づいて評価される。
論文 参考訳（メタデータ） (2026-09-02T13:06:58Z) - FaithIR: Rethinking Infrared Image Super-Resolution from Perceptual Sharpness to Task Relevant Fidelity [50.75932774177958]
FaithIRは信頼性の高いマシン認識のための忠実な赤外線超解像度フレームワークである。
FLIR-IISR、M3FD、FMBの実験は、強い再構成忠実度、クロスデータセットの一般化、オブジェクト検出とセマンティックセグメンテーションにおける優れた性能を示す。
論文 参考訳（メタデータ） (2026-08-04T04:23:30Z) - InfraQR: Edge-Placed QR-Inspired Structured Patch Attacks on Infrared Vision-Language Models [6.982777059279356]
InfraQRは、QRにインスパイアされた、赤外線ビジョン言語モデルのための構造化パッチアタックである。
我々は、赤外線分類、キャプション転送、質問応答型視覚質問応答タスクについて評価した。
その結果、赤外線ビジョン言語モデルは、構造化されたエッジ配置の摂動に弱いままであることがわかった。
論文 参考訳（メタデータ） (2026-07-08T11:28:15Z) - InfraNet: Quality-Aware RGB Guidance for Efficient Infrared Object Detection [31.00284151416272]
InfraNetは、トレーニング中のRGBガイダンスを規制し、柔軟なRGB--IRまたはIR-onlyデプロイメントをサポートする品質対応フレームワークである。
提案手法は,4つのベンチマークデータセット(LLVIP,FLIR-Aligned,M$3$FD,DroneVehicle)の広範な実験により評価される。
論文 参考訳（メタデータ） (2026-07-04T09:49:53Z) - FusionRS: A Large-Scale RGB-Infrared Remote Sensing Dataset for Dual-Modal Vision-Language Foundation Models [4.917364215480415]
FusionRSは、リモートセンシングにおける視覚言語学習のための最初の大規模RGB赤外線テキストデータセットである。
様々な公共RGBリモートセンシング画像を赤外線に変換し、RGB-IR画像対を形成する。
実験により、FusionRSはRGB-IRアライメント、赤外線-テキスト検索、デュアルモーダルキャプションをRGB専用および非IR対応のトレーニング設定よりも改善することが示された。
論文 参考訳（メタデータ） (2026-06-15T17:49:34Z) - Vision-Language Models for Infrared Industrial Sensing in Additive Manufacturing Scene Description [1.7786984823452563]
赤外線カメラは、視覚システムが苦戦する低照度環境や囲い込み機械における製造環境に利点をもたらす。
視覚言語システム(VLM)の最近の進歩は、RGBデータに関連する新たなテキスト内予測を提供する。
本研究は、FLIRボソンカメラで撮影された画像の事前処理により、VLMを赤外線データに適応させるゼロショットエンコーダを導入する。
論文 参考訳（メタデータ） (2025-12-11T20:20:38Z) - IrisNet: Infrared Image Status Awareness Meta Decoder for Infrared Small Targets Detection [92.56025546608699]
IrisNetは、入力赤外線画像ステータスに検出戦略を適用する、新しいメタ学習フレームワークである。
提案手法は,赤外線画像特徴量とデコーダパラメータ全体の動的マッピングを確立する。
NUDT-SIRST、NUAA-SIRST、IRSTD-1Kデータセットの実験は、我々のIrisNetの優位性を示している。
論文 参考訳（メタデータ） (2025-11-25T13:53:54Z) - DiffV2IR: Visible-to-Infrared Diffusion Model via Vision-Language Understanding [43.85632218045282]
DiffV2IRは、プログレッシブラーニングモジュール(PLM)と視覚言語理解モジュール(VLUM)の2つの要素からなる画像翻訳のための新しいフレームワークである。
PLMは、多段階知識学習を活用して、フルレンジからターゲット波長への赤外線遷移を実現する適応拡散モデルアーキテクチャを備えている。
VLUMにはビジョン・ランゲージ理解が組み込まれており、様々な環境条件下で、50万枚の赤外線画像を含む大きな赤外線データセットIR-500Kも収集している。
論文 参考訳（メタデータ） (2025-03-24T17:58:09Z) - Multi-Domain Biometric Recognition using Body Embeddings [51.36007967653781]
身体埋め込みは中波長赤外線(MWIR)領域と長波長赤外線(LWIR)領域の顔埋め込みよりも優れていた。
我々は、IJB-MDFデータセット上でのベンチマーク結果を確立するために、ビジョントランスフォーマーアーキテクチャを活用している。
また, クロスエントロピーとトリプルト損失の単純な組み合わせで, VISデータにのみ事前訓練された体モデルを微調整することで, 最先端のmAPスコアが得られることを示す。
論文 参考訳（メタデータ） (2025-03-13T22:38:18Z) - Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。
提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
論文 参考訳（メタデータ） (2025-01-25T06:21:06Z) - CapHDR2IR: Caption-Driven Transfer from Visible Light to Infrared Domain [7.007302908953179]
赤外線(IR)イメージングは、極端光条件下でコンテンツをキャプチャするユニークな能力のため、いくつかの分野で利点がある。
代替として、可視光は赤外線画像の合成に使用できるが、それによって画像の細部への忠実さが失われ、シーンの文脈的認識の欠如により不整合が生じる。
論文 参考訳（メタデータ） (2024-11-25T12:23:14Z) - Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。
SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。
スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-19T14:24:03Z) - IRSAM: Advancing Segment Anything Model for Infrared Small Target Detection [55.554484379021524]
Infrared Small Target Detection (IRSTD) タスクは、自然画像と赤外線画像の間に顕著な領域ギャップがあるため、満足度の高い性能を達成するには不十分である。
IRSTDのためのIRSAMモデルを提案する。これはSAMのエンコーダデコーダアーキテクチャを改善し、赤外線小物体の特徴表現をより良く学習する。
論文 参考訳（メタデータ） (2024-07-10T10:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。