論文の概要: AnyThermal: Towards Learning Universal Representations for Thermal Perception
- arxiv url: http://arxiv.org/abs/2602.06203v1
- Date: Thu, 05 Feb 2026 21:27:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-09 22:18:26.115683
- Title: AnyThermal: Towards Learning Universal Representations for Thermal Perception
- Title(参考訳): AnyThermal: 温熱認識のための普遍表現の学習を目指して
- Authors: Parv Maheshwari, Jay Karhade, Yogesh Chawla, Isaiah Adu, Florian Heisen, Andrew Porco, Andrew Jong, Yifei Liu, Santosh Pitla, Sebastian Scherer, Wenshan Wang,
- Abstract要約: さまざまなタスクに適した堅牢なタスク非依存の熱的特徴をキャプチャする熱バックボーンであるAnyThermalを提案する。
我々の重要な洞察は、複数の環境の熱データを用いて、視覚基盤モデルから熱エンコーダに特徴表現を抽出することである。
我々はAnyThermalとTartanRGBTの有効性を実証し、様々な環境において最大36%の改善を実現した。
- 参考スコア(独自算出の注目度): 12.226040201382231
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present AnyThermal, a thermal backbone that captures robust task-agnostic thermal features suitable for a variety of tasks such as cross-modal place recognition, thermal segmentation, and monocular depth estimation using thermal images. Existing thermal backbones that follow task-specific training from small-scale data result in utility limited to a specific environment and task. Unlike prior methods, AnyThermal can be used for a wide range of environments (indoor, aerial, off-road, urban) and tasks, all without task-specific training. Our key insight is to distill the feature representations from visual foundation models such as DINOv2 into a thermal encoder using thermal data from these multiple environments. To bridge the diversity gap of the existing RGB-Thermal datasets, we introduce the TartanRGBT platform, the first open-source data collection platform with synced RGB-Thermal image acquisition. We use this payload to collect the TartanRGBT dataset - a diverse and balanced dataset collected in 4 environments. We demonstrate the efficacy of AnyThermal and TartanRGBT, achieving state-of-the-art results with improvements of up to 36% across diverse environments and downstream tasks on existing datasets.
- Abstract(参考訳): 熱画像を用いたクロスモーダル位置認識, 熱セグメンテーション, 単眼深度推定などのタスクに適した, 頑健なタスク非依存の熱的特徴を捉えた熱バックボーンAnyThermalを提案する。
タスク固有のトレーニングに従う既存のサーマルバックボーンは、小さなデータから、特定の環境とタスクに制限されたユーティリティをもたらす。
従来の方法とは異なり、AnyThermalは様々な環境(屋内、空中、オフロード、都市)やタスクに使用することができる。
我々の重要な洞察は、DINOv2のような視覚基盤モデルからこれらの複数の環境の熱データを用いて熱エンコーダに特徴表現を抽出することである。
既存のRGB-Thermalデータセットの多様性のギャップを埋めるため,RGB-Thermal画像の同期による最初のオープンソースデータ収集プラットフォームであるTartanRGBTプラットフォームを紹介した。
このペイロードを使用して、TartanRGBTデータセット(4つの環境で収集された多種多様なバランスの取れたデータセット)を収集します。
我々はAnyThermalとTartanRGBTの有効性を実証し、さまざまな環境にまたがる最大36%の改善と既存のデータセットのダウンストリームタスクで最先端の結果を達成する。
関連論文リスト
- Taming Diffusion for Dataset Distillation with High Representativeness [49.3818035378669]
D3HRは、高い代表性を持つ蒸留データセットを生成する新しい拡散ベースのフレームワークである。
我々の実験は、D3HRが異なるモデルアーキテクチャにわたって高い精度を達成できることを実証した。
論文 参考訳(メタデータ) (2025-05-23T22:05:59Z) - EarthView: A Large Scale Remote Sensing Dataset for Self-Supervision [72.84868704100595]
本稿では,地球モニタリングタスクにおける深層学習アプリケーションを強化することを目的とした,リモートセンシングデータの自己監督を目的としたデータセットを提案する。
このデータセットは15テラピクセルのグローバルリモートセンシングデータにまたがっており、NEON、Sentinel、Satellogicによる1mの空間解像度データの新たなリリースなど、さまざまなソースの画像を組み合わせている。
このデータセットは、リモートセンシングデータの異なる課題に取り組むために開発されたMasked Autoencoderである。
論文 参考訳(メタデータ) (2025-01-14T13:42:22Z) - T-FAKE: Synthesizing Thermal Images for Facial Landmarking [8.20594611891252]
疎密で密集したランドマークを持つ大規模合成熱データセットであるT-FAKEデータセットを紹介した。
本稿では,RGB面を熱的スタイルにドメイン適応的に移動可能な新しいRGB2熱損失関数を提案する。
我々のモデルは、スパース70点のランドマークと密度478点のランドマークアノテーションの両方で優れた性能を示している。
論文 参考訳(メタデータ) (2024-08-27T15:07:58Z) - Caltech Aerial RGB-Thermal Dataset in the Wild [14.699908177967181]
本稿では,自然環境下での航空ロボットのためのRGB熱水モデルについて紹介する。
私たちのデータセットは、川、湖、海岸線、砂漠、森林など、米国中のさまざまな地形を捉えています。
自然設定でよく見られる10のクラスに対してセマンティックセグメンテーションアノテーションを提供する。
論文 参考訳(メタデータ) (2024-03-13T23:31:04Z) - Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳(メタデータ) (2024-03-08T16:18:04Z) - Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。
本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。
一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
論文 参考訳(メタデータ) (2022-10-09T13:50:12Z) - Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。
本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。
さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
論文 参考訳(メタデータ) (2022-04-08T15:22:33Z) - Hyperspectral Image Super-Resolution with Spectral Mixup and
Heterogeneous Datasets [99.92564298432387]
ハイパースペクトル画像(HSI)超解像(SR)の研究
HSI SRは高次元データと限られたトレーニング例によって特徴づけられる。
これにより、非分布サンプルに対する記憶や感度などのニューラルネットワークの望ましくない動作が悪化する。
論文 参考訳(メタデータ) (2021-01-19T12:19:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。