論文の概要: Similar Choices, Different Attention: Cross-Modal Associations in Humans and Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.36475v1
• Date: Tue, 29 Sep 2026 01:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.091955
• Title: Similar Choices, Different Attention: Cross-Modal Associations in Humans and Vision-Language Models
• Title（参考訳）: 類似した選択、異なる注意:人間と視覚・言語モデルにおける横断的関連性
• Abstract要約: クロスモーダルアソシエーション(英: cross-modal association)は、モダリティにまたがる機能の体系的なペアリングである。 我々は、視覚言語モデル(VLM)が、選択するだけでなく、選択する際の見地においても人間と一致しているかを問う。
• 参考スコア（独自算出の注目度）: 19.13893555206766
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Cross-modal associations are systematic pairings of features across modalities, such as the association of 'bouba' with round shapes and 'kiki' with sharp shapes. Prior work has compared humans and vision-language models (VLMs) on such associations, but often using different stimuli or tasks between humans and models. Here, we ask whether VLMs align with humans not only in choices, but also in where they look when making those choices. We study both VLMs and humans (N = 53), presenting them with the same stimuli, a pseudo-word and two images, and record participants' choices and eye movements, which we release. We find choice alignment in a few larger VLMs, but their saliency matches human gaze less closely than a center-bias baseline, a fixed Gaussian at the center of each image. Fine-tuning small VLMs on human choices brings their choice alignment to the level of a human majority-vote reference on unseen words and images, yet their attention still matches human gaze less closely than this baseline. Training model attention on human gaze raises attention-gaze correlation without improving choice alignment, and a single average gaze map per image position raises it by a similar amount. Matching human choices, or even human gaze patterns, is therefore not sufficient evidence of human-aligned cross-modal processing.
• Abstract（参考訳）: クロスモーダル・アソシエーション(クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション、クロスモーダル・アソシエーション(クロスモーダル・アソシエーション)は、様々な特徴の体系的な組み合わせである。 これまでの研究では、人間と視覚言語モデル(VLM)を比較してきたが、人間とモデルの間で異なる刺激やタスクを使うことが多い。 ここでは、VLMが選択するだけでなく、選択する際の見地においても人間と協調するかどうかを問う。 我々は、VLMと人間(N = 53)の両方を研究し、同じ刺激、擬似単語と2つのイメージを提示し、参加者の選択と眼球運動を記録し、解放する。 いくつかの大きなVLMでは、選択のアライメントが見られますが、そのサリエンシは、画像の中央に固定されたガウス線である中心バイアスのベースラインよりも、人間の視線とあまり一致していません。 人間の選択を微調整する小さなVLMは、見知らぬ言葉や画像に対する人間の多数投票基準のレベルに順応するが、彼らの注意はこの基準よりも人間の視線とあまり一致しない。 人間の視線に対するトレーニングモデルは、選択アライメントを改善することなく、注目視線相関を高め、画像位置毎の平均視線マップは、同様の量でそれを高める。 したがって、人間の選択、あるいは人間の視線パターンのマッチングは、人間と協調したクロスモーダルな処理の十分な証拠ではない。

関連論文リスト

• Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans [50.71222402701153]
  目標指向検索(COCO-Search18)における3つの汎用大言語モデル(MLLM)と人間の眼球運動スキャンパスを比較した。 いずれも低エントロピー、大振幅、自己整合性のスキャンパスであり、2人の人間が互いに同意するよりもはるかに近い。 このギャップは、回答アライメントとサリエンシのメトリクスが測定できないプロセス軸の上に置かれている。それらが見逃しているため、そのような指標は人間のようなビジョンを証明できない。ゼロショットモデルは結果と空間的疑問に適合するが、時間的、プロセスレベルではない。
  論文  参考訳（メタデータ） (2026-08-17T12:54:39Z)
• Probing Visual Language Priors in VLMs [51.016683265437536]
  我々は,意図的に分布外画像を特徴付けるベンチマークであるViLPを紹介した。 ViLPの各質問には、3つの潜在的な答えと3つの対応するイメージが結合される。 本稿では,モデルが新たなVQAデータを生成し,ピクセルレベルおよびセマンティックな汚職を適用して,自己学習のための「良いバッド」画像ペアを生成する自己改善フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T17:54:29Z)
• Free-viewpoint Human Animation with Pose-correlated Reference Selection [31.429327964922184]
  拡散に基づく人間アニメーションは、人物の人物像と、ポーズの列のような信号の駆動に基づいて人間キャラクターをアニメーションすることを目的としている。 既存のアプローチは、高忠実なポーズを生成することができるが、重要な視点の変化に苦慮している。 本稿では,ポーズ関連参照選択拡散ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-12-23T05:22:44Z)
• Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
  我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。 我々は500人以上の参加者から行動データの35万件の試行を収集した。 次に、一般的な視覚モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-09-09T17:59:13Z)
• What does Kiki look like? Cross-modal associations between speech sounds and visual shapes in vision-and-language models [0.10923877073891446]
  クロスモーダルな嗜好は、言語処理、言語学習、および信号意味マッピングの起源において顕著な役割を担っている。 ブバキキ効果 (ブバキキ効果) を用いて, 視覚・言語モデル(VLM) を探索し, 比較した。 本研究は,ヒトの認知におけるブバキキ効果の起源と,ヒトの相互関連性に整合したVLMの今後の発展について考察した。
  論文  参考訳（メタデータ） (2024-07-25T12:09:41Z)
• UniHuman: A Unified Model for Editing Human Images in the Wild [49.896715833075106]
  実環境における画像編集の複数の側面に対処する統一モデルUniHumanを提案する。 モデルの生成品質と一般化能力を向上させるために,人間の視覚エンコーダからのガイダンスを利用する。 ユーザスタディでは、UniHumanは平均して77%のケースでユーザに好まれる。
  論文  参考訳（メタデータ） (2023-12-22T05:00:30Z)
• Human Preference Score: Better Aligning Text-to-Image Models with Human Preference [41.270068272447055]
  我々は、Stable Foundation Discordチャネルから生成された画像に基づいて、人間の選択のデータセットを収集する。 本実験は, 生成モデルに対する現在の評価指標が, 人間の選択とよく相関しないことを示した。 本研究では,人間の好みに合わせて安定拡散を適応する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-25T10:09:03Z)
• Gaze Perception in Humans and CNN-Based Model [66.89451296340809]
  cnn(convolutional neural network)ベースの視線モデルと,実世界の映像における注意の軌跡を人間がどのように推定するかを比較した。 モデルと比較すると,注目点の人間推定はシーンの文脈に強く影響していることが示される。
  論文  参考訳（メタデータ） (2021-04-17T04:52:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。