論文の概要: HEARTH: An Object-Centric RGB-Thermal-3D Dataset for Temperature-Aware Robot Manipulation
- arxiv url: http://arxiv.org/abs/2609.23418v1
- Date: Sun, 20 Sep 2026 07:21:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 16:48:38.569432
- Title: HEARTH: An Object-Centric RGB-Thermal-3D Dataset for Temperature-Aware Robot Manipulation
- Title（参考訳）: HEARTH:温度認識ロボットマニピュレーションのためのオブジェクト中心RGBサーマル3Dデータセット
- Abstract要約: 対象中心のRGB熱水3DデータセットであるHEARTHを18の日常カテゴリから紹介する。
私たちのパイプラインは、表面温度をカメラキャリブレーションとポーズ転送を通じて再構成メッシュにマッピングします。
これらの結果は,温度に関する指示に従うロボットポリシーを訓練するためのHEARTHの有用性を示すものである。
- 参考スコア（独自算出の注目度）: 9.771932674131692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-guided manipulation can depend on physical properties that visible appearance does not reveal. Temperature is one such property, but object datasets for robot learning rarely associate measured temperatures with object appearance and geometry. We present HEARTH, an object-centric RGB-thermal-3D dataset of 90 physical objects from 18 everyday categories, comprising 145 captured object states. Our pipeline maps apparent surface temperatures onto reconstructed meshes through camera calibration and pose transfer. The dataset includes raw temperature measurements, camera parameters, RGB-textured meshes, and thermal textures for simulation. We use these assets to construct three LIBERO-derived tasks and collect 1,200 demonstrations for fine-tuning a pretrained vision-language-action (VLA) model, $π_{0.5}$. In an ablation study, adding thermal observations to the VLA increases success on temperature-dependent object-selection tasks from 35.0% for the RGB-only baseline to 75.0%. These results demonstrate the utility of HEARTH for training robot policies to follow temperature-related instructions.
- Abstract（参考訳）: 言語指導による操作は、目に見える外観が明らかになっていない物理的特性に依存する可能性がある。
温度はそのような性質の1つであるが、ロボット学習のためのオブジェクトデータセットは、測定された温度とオブジェクトの外観と幾何学を関連付けることは滅多にない。
対象中心のRGB熱水3DデータセットであるHEARTHについて述べる。
私たちのパイプラインは、表面温度をカメラキャリブレーションとポーズ転送を通じて再構成メッシュにマッピングします。
データセットには、生の温度測定、カメラパラメータ、RGBテクスチャメッシュ、シミュレーション用の熱テクスチャが含まれている。
これらの資産を用いて、LIBERO由来の3つのタスクを構築し、事前訓練された視覚言語アクション(VLA)モデル、$π_{0.5}$を微調整するための1200のデモを収集する。
アブレーション研究では、VLAに熱観測を加えることで、RGBのみのベースラインで温度依存のオブジェクト選択タスクが35.0%から75.0%に向上する。
これらの結果は,温度に関する指示に従うロボットポリシーを訓練するためのHEARTHの有用性を示すものである。
関連論文リスト
- GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction [60.68732444876243]
我々は、さまざまなアイデンティティ、視線方向、光設定にわたる人間の目の分布をモデル化する、データ駆動型3Dプリミティブを導入する。
このモデルは、以前のETデバイスで収集された注釈付きデータのスパースインプット3D再構成を可能にする。
提案手法は, 実データ収集の現実性, 多様性, 地道的精度を, 禁止コストを伴わずに, データを合成する。
論文 参考訳（メタデータ） (2026-05-21T11:54:01Z) - VC-FeS: Viewpoint-Conditioned Feature Selection for Vehicle Re-identification in Thermal Vision [0.6773121102591492]
サーマル画像のような単一チャネル画像を用いた低調波物体の同定は、監視などの多くの応用において重要である。
既存の手法では,色情報がない場合,同一カテゴリのオブジェクト間の類似度が高いため,性能が劣っている。
これらの問題に対して、視点条件付き特徴ベクトルと領域固有の特徴比較を別個の特徴空間で構成することで解決する。
以上の結果から得られたmAPスコアは,それぞれ19.7%,12.8%,最先端の手法を上回りました。
論文 参考訳（メタデータ） (2026-05-06T10:57:00Z) - T-FAKE: Synthesizing Thermal Images for Facial Landmarking [8.20594611891252]
疎密で密集したランドマークを持つ大規模合成熱データセットであるT-FAKEデータセットを紹介した。
本稿では,RGB面を熱的スタイルにドメイン適応的に移動可能な新しいRGB2熱損失関数を提案する。
我々のモデルは、スパース70点のランドマークと密度478点のランドマークアノテーションの両方で優れた性能を示している。
論文 参考訳（メタデータ） (2024-08-27T15:07:58Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields [5.66229031510643]
熱環境の再構築は、建築エネルギー消費の分析や非破壊的なインフラ試験の実行など、様々な用途において大きな可能性を秘めている。
既存の手法は通常、密集したシーン計測を必要とし、しばしばRGBの画像を3次元の幾何学的再構成に頼り、再建後の熱情報を投影する。
本研究では,新しいRGBとシーンの熱像を共同で描画するニューラルラジアンス場に基づく新しいアプローチであるThermoNeRFと,建築ファサードの8つのシーンと日常の8つのシーンからなる2つのRGB+熱画像のデータセットであるThermoScenesを提案する。
論文 参考訳（メタデータ） (2024-03-18T18:10:34Z) - Caltech Aerial RGB-Thermal Dataset in the Wild [14.699908177967181]
本稿では,自然環境下での航空ロボットのためのRGB熱水モデルについて紹介する。
私たちのデータセットは、川、湖、海岸線、砂漠、森林など、米国中のさまざまな地形を捉えています。
自然設定でよく見られる10のクラスに対してセマンティックセグメンテーションアノテーションを提供する。
論文 参考訳（メタデータ） (2024-03-13T23:31:04Z) - Habitat Synthetic Scenes Dataset (HSSD-200): An Analysis of 3D Scene
Scale and Realism Tradeoffs for ObjectGoal Navigation [70.82403156865057]
本研究では,合成3次元シーン・データセット・スケールとリアリズムが,オブジェクトの探索とナビゲートを行う具体的エージェントの訓練作業に与える影響について検討する。
我々の実験によると、我々の小規模データセットで訓練されたエージェントは、はるかに大きなデータセットで訓練されたエージェントと一致するか、より優れています。
論文 参考訳（メタデータ） (2023-06-20T05:07:23Z) - What Happened 3 Seconds Ago? Inferring the Past with Thermal Imaging [22.923237551192834]
人体動作解析のための最初のRGBサーマルデータセットを収集した。
我々は過去の人間のポーズ推定を正確にするための3段階ニューラルネットワークモデルを開発した。
論文 参考訳（メタデータ） (2023-04-26T16:23:10Z) - ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。
正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
論文 参考訳（メタデータ） (2022-04-28T17:23:59Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。