論文の概要: Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans
- arxiv url: http://arxiv.org/abs/2608.16514v1
- Date: Mon, 17 Aug 2026 12:54:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.700138
- Title: Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans
- Title（参考訳）: MLLMの検索結果が人間とどのように一致したか
- Abstract要約: 目標指向検索(COCO-Search18)における3つの汎用大言語モデル(MLLM)と人間の眼球運動スキャンパスを比較した。
いずれも低エントロピー、大振幅、自己整合性のスキャンパスであり、2人の人間が互いに同意するよりもはるかに近い。
このギャップは、回答アライメントとサリエンシのメトリクスが測定できないプロセス軸の上に置かれている。それらが見逃しているため、そのような指標は人間のようなビジョンを証明できない。ゼロショットモデルは結果と空間的疑問に適合するが、時間的、プロセスレベルではない。
- 参考スコア（独自算出の注目度）: 50.71222402701153
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human visual search is serial: the fovea must land on a candidate to confirm it, and those landings form a scanpath. Whether multimodal large language models (MLLMs), given the same foveated input, search as humans do bears on their use as models of human vision and on attention-alignment scores. We compare three general-purpose MLLMs with human eye-movement scanpaths on goal-directed search (COCO-Search18), driving each model fixation by fixation through an identical, human-matched foveated view and assessing it along three axes: the decision of target presence, the efficiency of reaching the target, and the gaze process itself. The axes dissociate. On the decision and on target acquisition the models match or exceed humans, detecting present targets near ceiling and reaching them on the first saccade more often than people do. The gaze process is not human. Under the human-matched condition, all three share one signature: low-entropy, large-amplitude, self-consistent scanpaths that agree with themselves far more closely than two humans agree with each other. That is consistent with a single-pass, non-serial architecture rather than a limit of acuity. Matched retinal input reproduces where humans look but not how the looking unfolds in time, and no degradation regime recovers human-like search at human-like success. The gap sits on a process axis that answer-alignment and saliency metrics do not measure. Because they miss it, such metrics cannot certify human-like vision, and zero-shot models suit outcome and spatial questions but not temporal, process-level ones.
- Abstract（参考訳）: 人間のビジュアルサーチはシリアルで、フォビアはそれを確かめるために候補に着陸し、それらの着陸はスキャンパスを形成する。
マルチモーダルな大言語モデル (MLLM) が、同じ望ましくない入力を与えられたとしても、人間の視覚モデルや注意調整スコアとして、人間の検索には耐えられる。
目標指向探索(COCO-Search18)において,3つの汎用MLLMと人間の眼球運動スキャンパスを比較し,同一の人間の眼球運動ビューを通じて各モデルの固定を駆動し,目標位置の決定,目標到達の効率,視線過程自体の3軸に沿って評価する。
軸は解離する。
決定と目標獲得では、モデルは人間と一致またはオーバーし、天井付近の現在のターゲットを検出し、人間よりも頻繁に第1ササードに到達する。
視線プロセスは人間ではありません。
低エントロピー、大振幅、自己整合性スキャンパスは2人以上の人間が互いに一致している。
これは、Acuityの制限ではなく、シングルパスでシリアルでないアーキテクチャと一致します。
一致した網膜入力は、人間がどのように見えるかは再現するが、見た目が時間とともにどのように広がるかは再現しない。
ギャップは、回答アライメントと正当性メトリクスが測定しないプロセス軸にあります。
彼らはそれを見逃しているので、そのようなメトリクスは人間のようなビジョンを証明できず、ゼロショットモデルは結果や空間的な問題に適合するが、時間的、プロセスレベルのものではない。
関連論文リスト
- Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms [0.0]
視覚言語モデル(VLM)が同じ行動シグネチャを示すかどうかを問う。
特徴対共役探索,空間構成探索(T-vs-L)探索,列挙,傾き/垂直探索非対称性の4つの古典的パラダイムを適応する。
論文 参考訳（メタデータ） (2026-06-23T18:19:16Z) - Language Model Goal Selection Differs from Humans' in an Open-Ended Task [2.012425476229879]
大規模言語モデル(LLM)は、ますます人間の意思決定に統合されている。
認知科学から借用した制御されたオープンエンド学習課題において, LLMsを人間の目標選択のプロキシとして評価する。
論文 参考訳（メタデータ） (2026-02-06T15:39:54Z) - HumanPCR: Probing MLLM Capabilities in Diverse Human-Centric Scenes [72.26829188852139]
HumanPCRは、人間の視覚的コンテキストに関するMLLMの能力を調べるための評価スイートである。
Human-P、HumanThought-C、Human-Rは、6,000以上の人間認証された複数の選択質問を特徴としている。
Human-Rは、手動でキュレートされたビデオ推論テストを提供する。
論文 参考訳（メタデータ） (2025-08-19T09:52:04Z) - Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。
GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。
最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
論文 参考訳（メタデータ） (2025-02-23T04:21:32Z) - Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。
我々は500人以上の参加者から行動データの35万件の試行を収集した。
次に、一般的な視覚モデルの性能を評価する。
論文 参考訳（メタデータ） (2024-09-09T17:59:13Z) - AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。
まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。
そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
論文 参考訳（メタデータ） (2024-03-26T17:59:23Z) - Learning Visibility for Robust Dense Human Body Estimation [78.37389398573882]
2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。
部分的な観察に頑健な高密度な人体推定を学習する。
我々は、高密度UV通信から可視性ラベルの擬似基底構造を取得し、3次元座標とともに可視性を予測するニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2022-08-23T00:01:05Z) - Dual networks based 3D Multi-Person Pose Estimation from Monocular Video [42.01876518017639]
複数人の3Dポーズ推定はシングルポーズ推定よりも難しい。
既存のトップダウンとボトムアップのアプローチでは、推定が検出エラーに悩まされる。
我々は,トップダウンアプローチとボトムアップアプローチを統合して,その強みを活用することを提案する。
論文 参考訳（メタデータ） (2022-05-02T08:53:38Z) - Partial success in closing the gap between human and machine vision [30.78663978510427]
数年前、最初のCNNがImageNetで人間のパフォーマンスを上回った。
人間のビジョンとマシンビジョンのギャップを埋める作業は進んでいますか?
我々は、広範囲なアウト・オブ・ディストリビューション(OOD)データセット上で、人間のオブザーバをテストした。
論文 参考訳（メタデータ） (2021-06-14T13:23:35Z) - Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and
Bottom-Up Networks [33.974241749058585]
マルチパーソンポーズ推定は、人間の検出が間違っている可能性があり、人間の結合群は信頼できない。
既存のトップダウン手法は人間の検出に依存しているため、これらの問題に悩まされる。
我々は,その強みを生かすために,トップダウンアプローチとボトムアップアプローチの統合を提案する。
論文 参考訳（メタデータ） (2021-04-05T07:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。