論文の概要: Right Answer, Wrong Heat: Explanation-Aware Evaluation and Thermal-Grounded Feedback for MLLMs on Infrared Images
- arxiv url: http://arxiv.org/abs/2608.09145v1
- Date: Mon, 10 Aug 2026 05:49:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.096568
- Title: Right Answer, Wrong Heat: Explanation-Aware Evaluation and Thermal-Grounded Feedback for MLLMs on Infrared Images
- Title（参考訳）: 赤外画像におけるMLLMの右解答と誤熱:説明的評価とサーマルグラウンドフィードバック
- Abstract要約: 本研究では,赤外線視覚的質問に対する応答正当性,出力レベル説明的根拠性,サーマルグラウンドティングを分離した説明認識評価フレームワークを提案する。
正確な答えは依然として弱いか可視光の証拠に依存しており、元の赤外線画像は保持し、精度がほとんど変化せず、目に見えるような露光の露光しか示さない。
本研究では,TGF (Thearial-Grounded Feedback) を提案する。このフィードバックループは,説明側の障害を診断し,選択した回答を保存しながら説明を再検討する。
- 参考スコア（独自算出の注目度）: 6.12946766176301
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General-purpose multimodal large language models (MLLMs) are increasingly applied to infrared images, where they are commonly scored by answer accuracy alone. However, a correct answer does not ensure that the model's explanation is grounded in infrared thermal evidence. We introduce an explanation-aware evaluation framework that separates answer correctness, output-level explanation groundedness, and thermal grounding for infrared visual questions. Using a Dual-LLM Consensus Judge with a preliminary human-anchor calibration check, we find that correct answers can still rely on weak or visible-light evidence; withholding the original infrared image and showing only a visible-like rendering erodes thermal grounding with little accuracy change; and this erosion is observed most strongly for more capable models but disappears when infrared remains available. We further propose Thermal-Grounded Feedback (TGF), a training-free feedback loop that diagnoses explanation-side failures and revises the explanation while preserving the selected answer. On local paired-input validation, TGF improves explanation-side grounding without changing answers. These findings suggest that future trustworthy MLLMs for infrared scene understanding should be evaluated and developed to produce thermally grounded explanations rather than merely accurate answers.
- Abstract（参考訳）: 汎用多目的大言語モデル(MLLM)は、解答精度だけで得られる赤外線画像に適用されることが多い。
しかし、正しい答えは、モデルの説明が赤外線の熱的証拠に基づいていることを保証しない。
本研究では,赤外線視覚的質問に対する応答正当性,出力レベル説明的根拠性,サーマルグラウンドティングを分離した説明認識評価フレームワークを提案する。
デュアルLLMコンセンサス・ジャッジ(Dual-LLM Consensus Judge)と予備的な人体・アンカーの校正チェックを用いて、正しい答えは依然として弱いまたは可視光の証拠に頼っていること、元の赤外線像を保ち、精度がほとんど変化しない可視的なレンダリングのエロードしか示さないこと、そしてこの浸食はより有能なモデルでは最も強く観察されるが、赤外線が利用可能であるときに消失する。
さらに,TGF (Thearial-Grounded Feedback) を提案する。このフィードバックループは,説明側の障害を診断し,選択した回答を保存しながら説明を再検討する。
局所的なペア入力検証では、TGFは答えを変えることなく説明側のグラウンド化を改善する。
これらの結果から,今後の赤外線シーン理解のための信頼性の高いMLLMを評価・開発して,単に正確な答えではなく,熱的根拠による説明を行う必要があることが示唆された。
関連論文リスト
- Text2Thermal: Physics-Aware Thermal Image Synthesis from Textual Priors [7.213400161126316]
Text2Thermalは、物理対応の熱画像合成のためのフレームワークである。
Text2Thermalは、登録されたRGB画像を必要とすることなく、熱画像を合成する。
M3FDとFLIRでは、Text2Thermalは熱画像合成法の中で最先端のFIDを実現する。
論文 参考訳（メタデータ） (2026-09-03T09:33:09Z) - FaithIR: Rethinking Infrared Image Super-Resolution from Perceptual Sharpness to Task Relevant Fidelity [50.75932774177958]
FaithIRは信頼性の高いマシン認識のための忠実な赤外線超解像度フレームワークである。
FLIR-IISR、M3FD、FMBの実験は、強い再構成忠実度、クロスデータセットの一般化、オブジェクト検出とセマンティックセグメンテーションにおける優れた性能を示す。
論文 参考訳（メタデータ） (2026-08-04T04:23:30Z) - Thermal-Det: Language-Guided Cross-Modal Distillation for Open-Vocabulary Thermal Object Detection [41.947503656624285]
既存のオープンボキャブラリ検出器はRGB画像に焦点を合わせ、熱画像への一般化に失敗した。
熱画像用に調整された第1大言語モデル (LLM) のオープン語彙検出装置であるサーマルデットについて述べる。
論文 参考訳（メタデータ） (2026-05-11T07:41:37Z) - Knowledge-Guided Adversarial Training for Infrared Object Detection via Thermal Radiation Modeling [49.887347082863194]
本研究では,異なるクラス間の相対的な熱放射関係を,敵対的事例や共通の腐敗の複雑なシナリオの下で信頼性の高い知識源とみなすことができることを示す。
本稿では,赤外線物体検出のための知識誘導型逆トレーニング(KGAT)を提案する。
論文 参考訳（メタデータ） (2026-03-26T08:43:43Z) - ThermEval: A Structured Benchmark for Evaluation of Vision-Language Models on Thermal Imagery [11.547362584832769]
ヴィジュアル言語モデル(VLM)はRGB画像において高い性能を達成するが、熱画像には一般化しない。
サーマルセンシングは、夜間監視、捜索救助、自律運転、医療スクリーニングなど、可視光が失敗する状況において重要な役割を果たす。
本稿ではサーマルビジョン言語理解に必要な基礎的プリミティブを評価するベンチマークであるThermEval-Bを紹介する。
論文 参考訳（メタデータ） (2026-02-16T18:16:19Z) - Contrast-Guided Cross-Modal Distillation for Thermal Object Detection [1.8477401359673709]
低いコントラストと弱い高周波キューは重複し、重複し、重複し、小さなオブジェクトを見逃し、クラスを混乱させる。
同じクラスの機能をまとめることで、インスタンスレベルの決定境界を鋭くする、トレーニングのみの目標を導入します。
実験では,提案手法は先行手法より優れ,最先端性能を実現した。
論文 参考訳（メタデータ） (2025-11-03T10:38:01Z) - Enhancing Infrared Vision: Progressive Prompt Fusion Network and Benchmark [58.61079960074608]
既存の赤外線画像強調法は、個々の劣化に対処することに焦点を当てている。
一般的にRGBセンサーに適用されるオールインワンエンハンスメント法は、有効性が制限されることが多い。
論文 参考訳（メタデータ） (2025-10-10T12:55:54Z) - Seeing Before Reasoning: A Unified Framework for Generalizable and Explainable Fake Image Detection [58.82268659497348]
この失敗の根源は、根本的なミスマッチにある、と私たちは主張する。
本稿では,偽画像検出のための汎用的で説明可能な,会話型アシスタントであるForensic-Chatを提案する。
論文 参考訳（メタデータ） (2025-09-29T20:59:19Z) - F-ViTA: Foundation Model Guided Visible to Thermal Translation [27.200043694866388]
そこで我々は,F-ViTAを提案する。F-ViTAは,基礎モデルに埋め込まれた一般世界の知識を利用して,翻訳改善のための拡散過程を導出する手法である。
本モデルでは, オフ・オブ・ディストリビューション(OOD)のシナリオを一般化し, 同じ可視像からLWIR, MWIR, 近赤外(NIR)の変換を生成する。
論文 参考訳（メタデータ） (2025-04-03T17:47:06Z) - Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。
SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。
スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-19T14:24:03Z) - ThermalNeRF: Thermal Radiance Fields [32.881758519242155]
LWIRとRGB画像の集合からシーン再構築のための統一的なフレームワークを提案する。
我々は、前処理のステップとして、RGBと赤外線カメラを互いに調整する。
提案手法は,RGBや熱チャネルに隠された物体を視覚的に除去すると共に,超高分解能な熱分解能を有することを示す。
論文 参考訳（メタデータ） (2024-07-22T02:51:29Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳（メタデータ） (2023-04-12T06:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。