論文の概要: Quantifying the human visual exposome with vision language models

• arxiv url: http://arxiv.org/abs/2605.03863v1
• Date: Tue, 05 May 2026 15:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:44.003958
• Title: Quantifying the human visual exposome with vision language models
• Title（参考訳）: 視覚言語モデルを用いた人間の視覚表現の定量化
• Authors: Christian Rominger, Andreas R. Schwerdtfeger, Malay Gaherwar Singh, Dimitri Khudyakow, Elizabeth A. M. Michels, Fabian Wolf, Jakob Nikolas Kather, Magdalena Katharina Wekenborg,
• Abstract要約: 視覚環境は、精神的健康の根本的かつ定量的な決定要因である。 我々は人間の視覚体験の意味的豊かさを定量化する視覚言語モデル(VLM)を開発した。 VLMは、確立されたベンチマークと整合して、グリーンネスが時間的影響と慢性ストレスを強く予測する見積もりを抽出した。
• 参考スコア（独自算出の注目度）: 1.2179379138011865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The visual environment is a fundamental yet unquantified determinant of mental health. While the concept of the environmental exposome is well established, current methods rely on coarse geospatial proxies or biased self reports, failing to capture the first person visual context of daily life. We addressed this gap by coupling ecological momentary assessment with vision language models (VLMs) to quantify the semantic richness of human visual experience. Across 2674 participant generated photographs, VLM derived estimates of greenness robustly predicted momentary affect and chronic stress, consistent with established benchmarks. We then developed a semi autonomous large language model (LLM) based pipeline that mined over seven million scientific publications to extract nearly 1000 environmental features empirically linked to mental health. When applied to real world imagery, up to 33 percent of VLM extracted context ratings significantly correlated with affect and stress. These findings establish a scalable objective paradigm for visual exposomics, enabling high throughput decoding of how the visible world is associated with mental health.
• Abstract（参考訳）: 視覚環境は、精神的健康の根本的かつ定量的な決定要因である。 環境エポソームの概念は確立されているが、現在の手法は粗い地理空間プロキシや偏りのある自己報告に依存しており、日常生活における最初の視覚的文脈を捉えていない。 このギャップを視覚言語モデル(VLM)と組み合わせ、人間の視覚体験の意味的豊かさを定量化することで解決した。 2674枚の写真が生成され、VLMはグリーンネスの時間的影響と慢性ストレスを推定した。 そこで我々は,700万以上の科学論文をマイニングし,メンタルヘルスに実証的に関連付けられた1000近い環境特徴を抽出する,半自律型大規模言語モデル(LLM)ベースのパイプラインを開発した。 実世界の画像に適用すると、最大33%のVLMが文脈評価を抽出し、影響とストレスに大きく相関した。 これらの知見は、視覚的露出論のためのスケーラブルな客観的パラダイムを確立し、視覚的世界がメンタルヘルスとどのように関連しているかを高いスループットで復号することができる。

関連論文リスト

• Learning Situated Awareness in the Real World [63.75211123289058]
  SAW-Benchは、実世界のビデオを用いて自我中心的な位置認識を評価するための新しいベンチマークである。 6つの異なる認識タスクでモデルのオブザーバ中心の理解を探索する。 我々の総合評価では、最高のMFMであるGemini 3 Flashでさえ、人間モデルのパフォーマンスギャップは37.66%である。
  論文  参考訳（メタデータ） (2026-02-18T18:22:52Z)
• The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping [1.5767445615203355]
  ビジュアル・イコニシティ・チャレンジ(Visual Iconicity Challenge)は、視覚言語モデルを評価するための心理言語学的尺度である。 オランダの手話におけるゼロおよび少数ショット設定において,13の最先端のVLMを評価した。 より強い音韻形式予測モデルでは、人間の象徴性判断と相関する。
  論文  参考訳（メタデータ） (2025-10-09T17:21:59Z)
• TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models [54.48710348910535]
  既存の医学推論ベンチマークは、主に1回の訪問からの画像に基づいて患者の状態を分析することに焦点を当てている。 臨床訪問における患者の状態の変化を分析するための最初のベンチマークであるTemMed-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-29T17:51:26Z)
• "I Can See Forever!": Evaluating Real-time VideoLLMs for Assisting Individuals with Visual Impairments [17.702424914454415]
  視覚障害者は現在、大規模に活動しており、日々の活動は彼らにとって重大な課題となっている。 多くの研究は、視覚障害者を支援するために、大きな言語と視覚言語モデルを用いており、静的コンテンツに重点を置いており、リアルタイムの認識のニーズを満たすことができない。 より効果的な知的支援を提供するためには、高度な視覚理解技術を組み込むことが不可欠である。
  論文  参考訳（メタデータ） (2025-05-07T15:03:16Z)
• Visual Language Models show widespread visual deficits on neuropsychological tests [0.0]
  神経心理学のツールキットを用いて3つの最先端ビジュアル言語モデル(VLM)の能力を評価する。 臨床的に有意と思われる低位・中位の視覚能力に広範な欠陥がみられた。 これらの選択的欠陥は、検証されたテストバッテリーを通してプロファイルされ、人間には明示的な訓練を必要としない基礎的な視覚概念を発達させることなく、人工知能が複雑な物体認識を達成できることを示唆している。
  論文  参考訳（メタデータ） (2025-04-15T01:04:56Z)
• Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy [53.07517728420411]
  低レベル視覚タスクにおける幻覚に焦点を当てた最初のインストラクションデータベースを提案する。 低レベル視覚タスクにおけるモデルの知覚と理解能力を向上させるための自己認識障害除去(SAFEQA)モデルを提案する。 低レベルの視覚課題に対する総合的な実験を行い、提案手法がこれらの課題におけるモデルの自己認識を著しく向上し、幻覚を低減させることを示す。
  論文  参考訳（メタデータ） (2025-03-26T16:05:01Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• Perceptual-Score: A Psychophysical Measure for Assessing the Biological Plausibility of Visual Recognition Models [9.902669518047714]
  本稿では,視覚心理学に基づく新しい尺度Perceptual-Scoreを提案する。 生物学的なインスピレーションと複雑性の程度が異なる12のモデルで手順を実行する。 各モデルの知覚スコアは、最先端の神経活動ベースのメトリクスであるBrain-Scoreと比較される。
  論文  参考訳（メタデータ） (2022-10-16T20:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。