論文の概要: Contrast Sensitivity Function of Multimodal Vision-Language Models

• arxiv url: http://arxiv.org/abs/2508.10367v1
• Date: Thu, 14 Aug 2025 06:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.195589
• Title: Contrast Sensitivity Function of Multimodal Vision-Language Models
• Title（参考訳）: マルチモーダル視覚言語モデルのコントラスト感度関数
• Authors: Pablo Hernández-Cámara, Alexandra Gomez-Villa, Jose Manuel Jaén-Lorites, Jorge Vila-Tomás, Jesus Malo, Valero Laparra,
• Abstract要約: 人間の視覚の主な特徴はコントラスト感度関数(CSF)であり、低コントラストにおける空間周波数に対する感度を記述する。 チャット型視覚言語モデルのCSFを推定するために,行動心理学に着想を得た新しい手法を提案する。 いくつかのモデルは人間に似たCSFの形や大きさを近似しているが、どちらも完全に再現するものではない。
• 参考スコア（独自算出の注目度）: 39.05416830166856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assessing the alignment of multimodal vision-language models~(VLMs) with human perception is essential to understand how they perceive low-level visual features. A key characteristic of human vision is the contrast sensitivity function (CSF), which describes sensitivity to spatial frequency at low-contrasts. Here, we introduce a novel behavioral psychophysics-inspired method to estimate the CSF of chat-based VLMs by directly prompting them to judge pattern visibility at different contrasts for each frequency. This methodology is closer to the real experiments in psychophysics than the previously reported. Using band-pass filtered noise images and a diverse set of prompts, we assess model responses across multiple architectures. We find that while some models approximate human-like CSF shape or magnitude, none fully replicate both. Notably, prompt phrasing has a large effect on the responses, raising concerns about prompt stability. Our results provide a new framework for probing visual sensitivity in multimodal models and reveal key gaps between their visual representations and human perception.
• Abstract（参考訳）: マルチモーダル視覚言語モデル(VLM)と人間の知覚とのアライメントを評価することは、低レベルの視覚的特徴をどのように知覚するかを理解するために不可欠である。 人間の視覚の重要な特徴はコントラスト感度関数(CSF)であり、低コントラストにおける空間周波数に対する感度を記述する。 本稿では,各周波数の異なるコントラストでパターン可視性を見極めることによって,チャットベースのVLMのCSFを推定する,行動心理学に着想を得た新しい手法を提案する。 この方法論は、以前報告されたよりも精神物理学における実際の実験に近い。 帯域通過フィルタによるノイズ画像と多様なプロンプトを用いて、複数のアーキテクチャにわたるモデル応答を評価する。 いくつかのモデルは人間に似たCSFの形や大きさを近似しているが、どちらも完全に再現するものではない。 特に、素早い表現は反応に大きな影響を与え、素早い安定性への懸念を引き起こす。 本研究は,マルチモーダルモデルにおける視覚的感度を探索し,視覚的表現と人間の知覚の間に重要なギャップを明らかにするための新しい枠組みを提供する。

関連論文リスト

• Lyapunov Spectral Analysis of Speech Embedding Trajectories in Psychosis [63.56564189749175]
  精神病患者と健常者を対象に, 音声の埋め込みを構造化された臨床インタビューから分析した。 Lyapunov exponent (LE) スペクトルは、単語レベルと回答レベルの埋め込みから計算される。
  論文  参考訳（メタデータ） (2026-02-18T08:46:46Z)
• E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis [54.763420895859035]
  脳波からの感情分析のための最初のMLLMフレームワークであるELLM2-EEG-to-Emotion Large Language Modelを提案する。 ELLMは学習可能なプロジェクション層を通じて、トレーニング済みのEEGエンコーダとQベースのLLMを統合し、マルチステージのトレーニングパイプラインを使用する。 7つの感情カテゴリーにまたがるデータセット実験により, ELLM2-EEG-to-Emotion Large Language Modelは感情分類において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-01-11T13:21:20Z)
• FaithSCAN: Model-Driven Single-Pass Hallucination Detection for Faithful Visual Question Answering [14.550872089352943]
  FaithSCANは視覚言語モデルの豊富な内部信号を利用して幻覚を検出する軽量ネットワークである。 本稿では,LLM-as-a-JudgeパラダイムをVQA幻覚に拡張し,モデル依存型監視信号の自動生成のための低コスト戦略を提案する。 深い分析により、幻覚は視覚知覚、相互モーダル推論、言語復号における系統的な内部状態の変化から生じることが示された。
  論文  参考訳（メタデータ） (2026-01-01T09:19:39Z)
• Perceive and Calibrate: Analyzing and Enhancing Robustness of Medical Multi-Modal Large Language Models [43.46006663176283]
  本研究は,種々の摂動が医療MLLMに与える影響を系統的に分析する。 視覚的モダリティのために,MLLMの視覚エンコーダを利用してノイズパターンを識別する摂動認識デノナイジング(PDC)を提案する。 そこで本研究では,MLLMの自己評価機能を活用し,ノイズの多いテキストを精査するセルフ・インスタンス・マルチエージェント・システム(SMS)を設計する。
  論文  参考訳（メタデータ） (2025-12-26T10:23:30Z)
• Suppressing VLM Hallucinations with Spectral Representation Filtering [49.52703800684483]
  視覚言語モデル(VLM)は、画像に存在しないオブジェクト、属性、関係の記述の形で幻覚をしばしば生成する。 本稿では,モデル表現の共分散構造を解析し,補正することにより,このような幻覚を抑制するための軽量な訓練不要な手法であるスペクトル表現フィルタ(SRF)を提案する。
  論文  参考訳（メタデータ） (2025-11-15T13:49:27Z)
• Benchmarking and Mitigate Sycophancy in Medical Vision-Language Models [21.353225217216252]
  視覚言語モデルは、しばしば、証拠に基づく推論よりも、社会的手がかりや認識された権威を記述したユーザーとの整合性に優先順位を付ける、幻想的行動を示す。 本研究は, 新規な臨床評価基準を用いて, 医用視覚質問応答における臨床症状について検討した。
  論文  参考訳（メタデータ） (2025-09-26T07:02:22Z)
• Multi-View Attention Multiple-Instance Learning Enhanced by LLM Reasoning for Cognitive Distortion Detection [1.660734109310745]
  我々は,Large Language Models(LLMs)とMILアーキテクチャを組み合わせた新しいフレームワークを提案し,解釈可能性と表現レベルの推論を向上した。 以上の結果から,精神保健NLPの細粒度推論に対する心理学的根拠と一般化可能なアプローチが示唆された。
  論文  参考訳（メタデータ） (2025-09-22T00:18:58Z)
• SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [50.69448058071441]
  視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 視覚的意味論から神経反応への変換をシミュレートする生成フレームワークであるSynBrainを提案する。 そこで本研究では,SynBrainが主観的視覚-fMRI符号化性能において最先端の手法を超越していることを示す。
  論文  参考訳（メタデータ） (2025-08-14T03:01:05Z)
• ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs [50.18087419133284]
  隠れた状態を活用する幻覚検出法は、主に静的および孤立した表現に焦点を当てている。 隠れ状態の更新に対するモジュールの寄与を定量化する新しいメトリック ICR Score を導入する。 本稿では,隠れ状態の層間進化を捉えた幻覚検出手法 ICR Probe を提案する。
  論文  参考訳（メタデータ） (2025-07-22T11:44:26Z)
• Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy [53.07517728420411]
  低レベル視覚タスクにおける幻覚に焦点を当てた最初のインストラクションデータベースを提案する。 低レベル視覚タスクにおけるモデルの知覚と理解能力を向上させるための自己認識障害除去(SAFEQA)モデルを提案する。 低レベルの視覚課題に対する総合的な実験を行い、提案手法がこれらの課題におけるモデルの自己認識を著しく向上し、幻覚を低減させることを示す。
  論文  参考訳（メタデータ） (2025-03-26T16:05:01Z)
• Mitigating Object Hallucinations in MLLMs via Multi-Frequency Perturbations [44.83933994734478]
  大規模言語モデル (MLLM) は視覚的タスクにおいて顕著な性能を示した。 しかし、MLLMによって生成された応答の正しさは、しばしば物体の幻覚によって損なわれる。 これらの幻覚の主な原因は、物体検出における特定の画像周波数特徴に対するモデルの過度な感受性である。
  論文  参考訳（メタデータ） (2025-03-19T04:39:45Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• UniAR: A Unified model for predicting human Attention and Responses on visual content [12.281060227170792]
  多様な視覚コンテンツにまたがる人間の注意と嗜好行動の統一モデルUniARを提案する。 自然画像、Webページ、グラフィックデザインにまたがる様々な公開データセットに基づいてUniARをトレーニングし、複数のベンチマークでSOTA性能を達成する。 潜在的なアプリケーションには、UI/視覚コンテンツの有効性に関する即時フィードバックの提供や、デザイナとコンテンツ作成モデルによる人間中心の改善のための作成の最適化などが含まれる。
  論文  参考訳（メタデータ） (2023-12-15T19:57:07Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [7.689542442882423]
  我々は人間の脳にインスパイアされたデュアルストリーム視覚モデルを設計した。 このモデルは網膜のような入力層を特徴とし、次の焦点(固定点)を決定する2つのストリームと、固定点を取り巻く視覚を解釈する2つのストリームを含む。 このモデルを,物体認識,視線行動,対向強靭性の観点から評価した。
  論文  参考訳（メタデータ） (2022-06-15T03:44:42Z)
• Multimodal perception for dexterous manipulation [14.314776558032166]
  視覚と触覚の変換のためのクロスモーダルな知覚データ生成フレームワークを提案する。 本稿では,空間的特徴と時間次元を考慮した触覚テクスチャ認識のための時間的アテンションモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-28T21:20:26Z)
• A Psychophysically Oriented Saliency Map Prediction Model [4.884688557957589]
  本研究では,人間の視覚野の多チャンネルモデルに触発された新しい心理物理学的サリエンシ予測アーキテクチャであるWECSFを提案する。 提案モデルは、MIT1003、MIT300、トロント、SID4VAM、UCFスポーツデータセットなど、いくつかのデータセットを用いて評価される。 本モデルは, 自然画像, 心理物理合成画像, ダイナミックビデオの様々な測定値を用いて, 安定かつ優れた性能を実現した。
  論文  参考訳（メタデータ） (2020-11-08T20:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。