Fugu-MT 論文翻訳(概要): Failure Modes of Vision-Language Models for Human Activity Understanding in Thermal HRI

論文の概要: Failure Modes of Vision-Language Models for Human Activity Understanding in Thermal HRI

arxiv url: http://arxiv.org/abs/2610.29244v1
Date: Wed, 21 Oct 2026 05:49:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 00:40:06.251745
Title: Failure Modes of Vision-Language Models for Human Activity Understanding in Thermal HRI
Title（参考訳）: 熱的HRIにおける人間の活動理解のための視覚言語モデルの失敗モード
Abstract要約: 人-ロボットインタラクションのための熱的人間の活動理解のための視覚言語モデル(VLM)を評価した。モデルでは,幅広い活動カテゴリを認識できるが,くしゃみ,くしゃみ,あくびなどのきめ細かな行動に苦慮している。以上の結果から,モデルでは幅広い活動カテゴリを認識できるが,くしゃみ,くしゃみ,あくびなどのきめ細かな行動に苦慮していることが示された。
参考スコア（独自算出の注目度）: 12.200453232741628
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Thermal cameras enable robots to perceive human activities in darkness while revealing less personally identifiable appearance information and fewer details of the surrounding environment than RGB cameras. As vision-language models (VLMs), originally developed for RGB imagery, are increasingly integrated into embodied systems for scene understanding and high-level planning, thermal sensing offers a promising way to extend activity perception to low-light and privacy-sensitive settings. However, the failure modes of VLMs in thermal human activity understanding for human-robot interaction (HRI) remain underexplored. We fill this gap by evaluating seven locally deployable VLMs, including models developed for physical AI and robotics, on two person-centric thermal datasets. Our diagnostic tasks examine fine-grained action recognition, activity timeline reconstruction, and the ability to withhold unsupported answers. Paired RGB recordings serve as a performance reference, while controlled variations in frame sampling, thermal input presentation, and reasoning are used to assess whether the observed errors can be mitigated. Our results show that models can recognize broad activity categories but struggle with fine-grained actions such as coughing, sneezing, and yawning. They also produce inaccurate event timelines and hallucinate actions involving objects. Simple thermal input preprocessing and additional reasoning offer only limited, model-dependent gains. Abstention behavior also varies across models even under explicit instructions, limiting their reliability for practical robotic use.
Abstract（参考訳）: 熱カメラは、ロボットが暗闇の中で人間の活動を知覚することを可能にすると同時に、個人が識別できる外観情報が少なく、周囲の環境の詳細もRGBカメラより少ない。 RGB画像用に開発された視覚言語モデル(VLM)は、シーン理解と高レベルの計画のための具体化システムにますます統合されているため、サーマルセンシングは、活動知覚を低照度でプライバシーに敏感な設定にまで拡張する有望な手段を提供する。しかしながら、人-ロボット相互作用(HRI)に対する熱的人間の活動理解におけるVLMの失敗モードは未解明のままである。物理的AIとロボティクス向けに開発されたモデルを含む、ローカルにデプロイ可能な7つのVLMを、人中心の熱データセット2つで評価することで、このギャップを埋める。我々の診断課題は, きめ細かい行動認識, 活動タイムラインの再構築, サポート対象の回答を抑える能力について検討することである。ペアリングされたRGB記録は性能基準として機能し、フレームサンプリング、サーマルインプット表示、推論の制御されたバリエーションを使用して、観測されたエラーを軽減できるかどうかを評価する。以上の結果から,モデルでは幅広い活動カテゴリを認識できるが,くしゃみ,くしゃみ,あくびなどのきめ細かな行動に苦慮していることが示された。彼らはまた、不正確なイベントタイムラインを作成し、オブジェクトを含む幻覚的なアクションも生成する。単純な熱入力前処理と追加の推論は限定的なモデルに依存した利得しか提供しない。保留行動は、明示的な指示の下でもモデルによって異なり、実用的なロボットの使用に対する信頼性が制限される。

関連論文リスト

RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction [51.76737991200891]
H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
論文参考訳（メタデータ） (2026-08-13T09:55:59Z)
SceneTeract: Agentic Functional Affordances and VLM Grounding in 3D Scenes [49.117927512531715]
我々はエージェント固有の制約の下で3Dシーン機能を検証するフレームワークであるSceneTeractを紹介する。 SceneTeractは複雑なアクティビティをアトミックアクションのシーケンスに分解し、アクセシビリティ要求に対して各ステップを検証する。具体化された3Dシーン理解における知覚と身体的現実を橋渡しするSceneTeract検証スイートとデータをリリースする。
論文参考訳（メタデータ） (2026-03-31T14:31:18Z)
LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。 R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文参考訳（メタデータ） (2026-03-31T02:21:59Z)
ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction [35.24704057622881]
身体的認知は、知性は受動的観察よりも知覚的相互作用から生じると主張する。我々は,エゴセントリックな相互作用から世界モデリングとしての認知の具体化を評価するベンチマークENACTを紹介する。
論文参考訳（メタデータ） (2025-11-26T00:06:02Z)
PhysVLM-AVR: Active Visual Reasoning for Multimodal Large Language Models in Physical Environments [36.84821207878773]
マルチモーダル大言語モデル(MLLM)における視覚的推論は、主に静的で完全に観測可能な設定で研究されている。 AVR(Active Visual Reasoning)タスクを導入し、視覚的推論を部分的に観察可能で対話的な環境に拡張する。推論と情報収集の効率性の両方を評価するために,複数ラウンドの対話型環境を特徴とするベンチマークを提案する。
論文参考訳（メタデータ） (2025-10-24T02:59:00Z)
Recognizing Actions from Robotic View for Natural Human-Robot Interaction [52.00935005918032]
自然人-ロボットインタラクション(Natural Human-Robot Interaction, N-HRI)は、ロボット自身が動いているか静止しているかに関わらず、ロボットが様々な距離と状態で人間の行動を認識することを要求する。 N-HRIの既存のベンチマークは、限られたデータ、モダリティ、タスクカテゴリ、主題や環境の多様性のために、N-HRIのユニークな複雑さに対処できない。モバイルサービスロボットで広く使われている知覚中心ロボットビューのための大規模データセット(Action from Robotic View)を紹介する。
論文参考訳（メタデータ） (2025-07-30T09:48:34Z)
Seeing with Partial Certainty: Conformal Prediction for Robotic Scene Recognition in Built Environments [6.295098866364597]
本稿では,VLMを用いた位置認識における不確実性の測定・調整を目的としたフレームワークであるSeing with partial Certainty(SwPC)を紹介する。 SwPCは、人間の助けを求めるリクエストを最小限に抑えつつ、位置認識に関する統計的保証を提供するために、共形予測の理論に基づいて構築されている。
論文参考訳（メタデータ） (2025-01-09T03:50:00Z)
Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。 SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
論文参考訳（メタデータ） (2024-04-08T15:22:38Z)
I am Only Happy When There is Light: The Impact of Environmental Changes on Affective Facial Expressions Recognition [65.69256728493015]
本研究では,異なる画像条件が人間の表情からの覚醒の認識に与える影響について検討した。以上の結果から,人間の感情状態の解釈が肯定的,否定的に大きく異なることが示唆された。
論文参考訳（メタデータ） (2022-10-28T16:28:26Z)
Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
論文参考訳（メタデータ） (2021-03-17T15:24:02Z)
SSTN: Self-Supervised Domain Adaptation Thermal Object Detection for Autonomous Driving [6.810856082577402]
コントラスト学習により可視スペクトル領域と赤外スペクトル領域の情報を最大化するための機能埋め込みを学習するためのディープニューラルネットワークSelf Supervised Thermal Network (SSTN)を提案する。提案手法は、FLIR-ADASデータセットとKAISTマルチスペクトラルデータセットの2つの公開データセットで広く評価されている。
論文参考訳（メタデータ） (2021-03-04T16:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。