論文の概要: Why Do VLMs Fail at Remote Physiological Measurement? Rethinking with Physiological Grounding and Numerical Alignment
- arxiv url: http://arxiv.org/abs/2610.19052v1
- Date: Tue, 13 Oct 2026 18:50:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.762499
- Title: Why Do VLMs Fail at Remote Physiological Measurement? Rethinking with Physiological Grounding and Numerical Alignment
- Title（参考訳）: 遠隔生理計測におけるVLMはなぜ機能しないのか : 生理的接地と数値的アライメントによる再考
- Abstract要約: ビデオベースの遠隔生理計測(RPM)は幅広い応用がある。
VLM(Vision-Language Models)は、エンドツーエンドの生理学的モニタリングを可能にする、有望な機会を提供する。
RPMのための視覚生理学的トークンアライメントフレームワークVITALを提案する。
- 参考スコア（独自算出の注目度）: 21.32185423638222
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Video-based remote physiological measurement (RPM) has broad applications, while Vision-Language Models (VLMs) provide a promising opportunity to enable end-to-end physiological monitoring for future human-aware intelligent systems. However, existing RPM methods rely on task-specific models and cannot be seamlessly integrated with the multimodal understanding and interaction capabilities of VLMs. We revisit RPM with VLMs and provide empirical evidence for two major bottlenecks: generic visual semantic representations fail to preserve fine-grained physiological cues; while discrete token prediction in autoregressive generation is inherently misaligned with continuous numerical measurement. To address these challenges, we propose VITAL (Visual-physiological Token Alignment for Language Models), a visual-physiological token alignment framework for RPM and preserving general vision tasks. VITAL retains the original visual pathway for semantic understanding and introduces an independent physiological pathway to jointly model semantic and physiological information. Moreover, we propose a structured numerical alignment approach to improve the reliability of generative heart rate estimation by enhancing numerical relationship modeling. Extensive experiments show that VITAL improves cross-domain estimation performance on multiple rPPG datasets while preserving the general visual understanding capability of VLMs, demonstrating its effectiveness as a unified visual-physiological model. Code will be released.
- Abstract（参考訳）: ビデオベースの遠隔生理計測(RPM)は幅広い応用があり、視覚言語モデル(VLM)は将来の人間の知能システムに対するエンドツーエンドの生理的モニタリングを可能にする有望な機会を提供する。
しかし、既存のRPM法はタスク固有モデルに依存しており、VLMのマルチモーダル理解と相互作用能力とシームレスに統合できない。
汎用的な視覚的意味表現は微細な生理的手がかりを保存できないが,自己回帰生成における離散トークン予測は本質的に連続的な数値測定と一致しない。
これらの課題に対処するために、RPMのための視覚生理学的トークンアライメントフレームワークであるVITAL(Visual-physiological Token Alignment for Language Models)を提案する。
VITALは意味理解のための本来の視覚的経路を保持しており、意味情報と生理情報を共同でモデル化する独立した生理的経路を導入している。
さらに,数値関係モデリングの強化により生成心拍推定の信頼性を向上させるための構造化数値アライメント手法を提案する。
広汎な実験により、VITALは複数のrPPGデータセット上でのクロスドメイン推定性能を向上し、VLMの一般的な視覚的理解能力を保ち、統合された視覚生理学的モデルとしての有効性を示した。
コードはリリースされる。
関連論文リスト
- EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model -- From Semantic Understanding through Visual Foresight to Action [65.7650775259592]
視覚言語行動(VLA)ポリシーは意味理解を重視し、世界行動モデル(WAM)は環境力学の予測表現を学習する。
本研究では,アクション中心の統一型エンボディモデルであるEWAMについて述べる。
論文 参考訳（メタデータ） (2026-09-30T15:35:53Z) - MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。
本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。
今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
論文 参考訳（メタデータ） (2026-06-04T20:24:47Z) - ChemVA: Advancing Large Language Models on Chemical Reaction Diagrams Understanding [56.94419746470799]
大規模言語モデル (LLM) は、科学的なテキスト処理に革命をもたらしたが、化学反応図を解釈する際には、大きな能力ギャップが現れる。
本稿では,視覚アンカー機構を用いたケミカルビジュアルアクティベーション(ChemVA)フレームワークを提案する。
我々は,高密度な視覚・セマンティックな文脈を特徴とする新たに構築されたデータセットであるOCRD-Benchに対するアプローチを評価する。
論文 参考訳（メタデータ） (2026-05-17T01:12:50Z) - Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs [66.15429821530503]
Persistent Visual Memoryは、ビジュアルエビデンスへの持続的でオンデマンドアクセスを強化するために設計された、軽量の学習可能なモジュールである。
Qwen3-VLモデルの実験は、PVMが無視可能なパラメータオーバーヘッドで顕著な改善をもたらすことを示した。
詳細な分析により、PVMはより長い世代で堅牢性が向上し、内部予測収束が加速することが明らかとなった。
論文 参考訳（メタデータ） (2026-05-01T17:54:37Z) - EvoMorph: Counterfactual Explanations for Continuous Time-Series Extrinsic Regression Applied to Photoplethysmography [4.11690617621503]
時系列回帰モデルは、臨床に関連のある結果を推定するために、光胸腺造影信号を活用する傾向にある。
臨床推論と信頼については、単点推定だけでは不十分である。
EvoMorph は生理的に可塑性で多様な CFE を TSER アプリケーション向けに生成するフレームワークである。
論文 参考訳（メタデータ） (2026-01-15T12:58:59Z) - Efficient and Robust Multidimensional Attention in Remote Physiological Sensing through Target Signal Constrained Factorization [7.947387272047604]
マルチモーダルビデオ入力からの光胸腺造影(rRSP)信号と呼吸(rRSP)信号の同時推定を目的とした,効率的なデュアルブランチ3D-CNNアーキテクチャであるMMRPhysを提案する。
TSFMを用いたMMRPhysは、リアルタイムアプリケーションに適した最小の推論レイテンシを維持しつつ、RRSP推定のための領域シフトの一般化において最先端の手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2025-05-11T15:20:45Z) - PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing [49.243031514520794]
LLM(Large Language Models)は、テキスト中心の設計のため、長距離信号の取得に優れる。
PhysLLMは最先端の精度とロバスト性を実現し、照明のバリエーションや動きのシナリオにまたがる優れた一般化を示す。
論文 参考訳（メタデータ） (2025-05-06T15:18:38Z) - Bootstrapping Vision-language Models for Self-supervised Remote Physiological Measurement [26.480515954528848]
本稿では,一般的な視覚言語モデルとリモート生理計測タスクをうまく統合する新しいフレームワークを提案する。
フレームワークを最適化する一連の生成的かつコントラスト的な学習メカニズムを開発した。
本手法は,視覚・テキストモダリティにおける周波数関連知識の消化・調整にVLMを初めて適用した手法である。
論文 参考訳（メタデータ） (2024-07-11T13:45:50Z) - Efficient Multi-View Fusion and Flexible Adaptation to View Missing in Cardiovascular System Signals [4.519437028632205]
深層学習は、心臓血管系(CVS)信号に関する自動多視点融合(MVF)を促進する。
MVFモデルアーキテクチャは、しばしば同じ時間ステップからCVS信号と一致するが、統一された表現に異なる視点を持つ。
本稿では,事前学習したMVFモデルに対して,様々なシナリオに柔軟に対応するためのプロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T08:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。