論文の概要: Human-AI Perceptual Alignment by Playing Hues and Cues

• arxiv url: http://arxiv.org/abs/2608.07141v1
• Date: Fri, 07 Aug 2026 12:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.4882
• Title: Human-AI Perceptual Alignment by Playing Hues and Cues
• Title（参考訳）: ヒューズ・クイズ演奏による人間とAIの知覚的アライメント
• Abstract要約: Contrastive Vision-Language Models (CVLM) と人間の評価は、典型的には、きめ細かい意味と文化的ニュアンスを見渡す伝統的なベンチマークによって制約される。 本稿では,ボードゲームHues and Cuesのゲーミフィケーションされた離散色空間を活用する新しい評価フレームワークを提案する。 我々は、複数のアーキテクチャファミリおよび事前学習データセットにわたる162のモデルを評価し、それらのセマンティックカラーグラウンドを評価する。
• 参考スコア（独自算出の注目度）: 2.6369756143132634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the perceptual alignment between Contrastive Vision-Language Models (CVLMs) and humans is typically constrained by traditional benchmarks that overlook fine-grained semantic and cultural nuances. In this work, we propose a novel evaluation framework that leverages the gamified, discrete color space of the board game Hues and Cues. By mapping the board's 480 color cells to the CIE xy chromaticity diagram, we calculate empirical perceptual distances across a carefully curated 100-word vocabulary spanning seven semantic categories. To properly contextualize model performance, we establish an empirical lower bound of expected error-the Human Consistency baseline-calculated via Leave-One-Out (LOO) cross-validation on a dense dataset of color associations collected from 325 human observers through a custom digital interface. We evaluate 162 models across multiple architectural families and pre-training datasets to assess their semantic color grounding. Our results demonstrate that while CVLMs successfully replicate human cognitive biases, such as idealized memory colors for concrete physical referents (e.g., food and plants), they systematically diverge from the human baseline in abstract, subjective, and pop-culture domains. We identify two distinct failure modes in severely misaligned concepts: semantic misclassification and a systematic uncertainty collapse into a default blue coordinate. Furthermore, we reveal that highly curated pre-training datasets are significantly more effective than massive, uncurated corpora in mitigating these severe misalignments. Ultimately, this work highlights that despite their broad categorization capabilities, current CVLMs still fail to capture the nuanced, localized consensus of human color memory, emphasizing the value of gamified tasks in exposing underlying model biases. The data and code are publicly available to test other metrics.
• Abstract（参考訳）: CVLM(Contrastive Vision-Language Models)と人間の間の知覚的アライメントを評価することは、典型的には、きめ細かい意味と文化的ニュアンスを見渡す伝統的なベンチマークによって制約される。 本研究では,ボードゲームHues and Cuesのゲーム化,離散色空間を活用した新しい評価フレームワークを提案する。 ボードの480色細胞をCIE xy色度図にマッピングすることにより、7つのセマンティックカテゴリにまたがる100ワードの単語を慎重に計算した経験的知覚距離を計算する。 モデルの性能を適切に把握するために,325人の観察者から収集したカラーアソシエーションの密集したデータセット上に,Leave-One-Out (LOO)クロスバリデーションによって計算された人間の一貫性ベースラインを,カスタムデジタルインタフェースにより実証的に低く設定する。 我々は、複数のアーキテクチャファミリおよび事前学習データセットにわたる162のモデルを評価し、それらのセマンティックカラーグラウンドを評価する。 CVLMは人間の認知バイアス(例えば、食品や植物など)を再現するが、抽象的、主観的、ポップカルチャー的な領域では、人間のベースラインから体系的に分岐する。 セマンティックなミス分類と系統的な不確実性をデフォルトのブルー座標に分解する。 さらに、高度にキュレートされた事前学習データセットは、これらの深刻なミスアライメントを軽減するために、大規模で未修正のコーパスよりもはるかに効果的であることを明らかにした。 最終的に、この研究は、幅広い分類能力にもかかわらず、現在のCVLMは、人間のカラーメモリの微妙で局所的なコンセンサスを捉えることができず、基礎となるモデルバイアスを明らかにする際のゲーミフィケーションタスクの価値を強調している。 データとコードは、他のメトリクスをテストするために公開されています。

関連論文リスト

• Do Vision Encoders Exhibit Human-like Color Thresholds? [44.97183276701248]
  近年、ディープニューラルネットワークはコンピュータビジョンタスクの標準ネットワークとなっている。 ディープ・ビジョン・エンコーダの普及にもかかわらず、その内部表現が人間のような識別閾値を示すかどうかを調査する研究はほとんどない。 我々は,50以上の事前学習された視覚エンコーダの色彩感受性を探索する大規模な探索的研究を行った。
  論文  参考訳（メタデータ） (2026-07-17T22:30:12Z)
• Revealing the Gap in Human and VLM Scene Perception through Counterfactual Semantic Saliency [3.9792042887828565]
  オブジェクトの重要度を測定するために、CSS(Counterfactual Semantic Saliency)を導入する。 AIと人間のセマンティックアライメントを評価するために,人間の心理物理学ベースラインに対して目立った視覚言語モデルを検証した。 モデルは、大きな物体(サイズバイアス)、画像の中心にある物体(中心バイアス)、高い塩分濃度オブジェクトに対して、(人間に関する)過度な信頼を示す。
  論文  参考訳（メタデータ） (2026-05-13T06:11:47Z)
• Bringing Multimodal Large Language Models to Infrared-Visible Image Fusion Quality Assessment [48.882448108261826]
  赤外線可視画像融合(IVIF)は、熱情報と詳細な空間構造を単一の融合画像に統合し、知覚を高めることを目的としている。 近年のIVIF報酬モデリングの取り組みは人間の評価から学ぶが、集計されたスコアにスカラー回帰を用いる。 本稿では,MLLMを用いて人間の視覚知覚を再現し,連続的な品質スコアを生成するFuScoreを紹介する。
  論文  参考訳（メタデータ） (2026-05-07T21:38:09Z)
• Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models [1.4969391620741985]
  視覚言語モデル(VLM)は強力なベンチマーク結果を得るが、体系的な知覚的弱点を示すことができる。 本研究では,自然画像上に構造パターンをオーバーレイする色歪みのファミリである空間色混合を用いて,このギャップについて検討する。 簡単な人為的な前処理のステップが,いくつかの歪みに対して有意義な性能を回復することを示す。
  論文  参考訳（メタデータ） (2026-03-06T10:50:04Z)
• Bridging Human Evaluation to Infrared and Visible Image Fusion [54.71406895277533]
  赤外線および可視画像融合(IVIF)は、シーン知覚を高めるために相補的なモダリティを統合する。 現在の手法は、主に手作りの損失と客観的なメトリクスの最適化に重点を置いており、しばしば人間の視覚的嗜好と一致しない融合結果をもたらす。 人間の評価を赤外線と可視画像の融合に橋渡しするフィードバック強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-04T09:23:57Z)
• Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models [81.45743826739054]
  大きな障壁は、LAION-400MのようなWebスケールデータセットにおける人口統計アノテーションの欠如である。 2億7600万以上のバウンディングボックスや、性別や人種/民族ラベルの認識、キャプションの自動生成など、完全なデータセットのための人中心アノテーションを作成します。 それらを用いて、黒人や中東と見なされる男性や個人と犯罪に関連する負のコンテンツとの不均等な結びつきなど、人口不均衡や有害な関連を明らかにする。
  論文  参考訳（メタデータ） (2025-10-04T07:51:59Z)
• COLIBRI Fuzzy Model: Color Linguistic-Based Representation and Interpretation [0.0]
  本稿では,人間の知覚に基づくファジィカラーモデル(COLIBRI)を導入し,計算色表現と人間の視覚知覚のギャップを埋める。 提案モデルはファジィ集合と論理を用いて色分類のためのフレームワークを作成する。 我々の発見は、デザイン、人工知能、マーケティング、人間とコンピュータの相互作用といった分野において重要である。
  論文  参考訳（メタデータ） (2025-07-15T17:01:45Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Dataset Scale and Societal Consistency Mediate Facial Impression Bias in Vision-Language AI [17.101569078791492]
  43のCLIP視覚言語モデルを用いて、人間の顔の印象バイアスを学習するかどうかを検証した。 社会全体でバイアスが共有される度合いがCLIPモデルに反映される度合いを予測するのはこれが初めてである。
  論文  参考訳（メタデータ） (2024-08-04T08:26:58Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• Appearance Consensus Driven Self-Supervised Human Mesh Recovery [67.20942777949793]
  単眼画像から人間のポーズや形状を推定する自己教師付きメッシュ回復フレームワークを提案する。 標準モデルに基づく3次元ポーズ推定ベンチマークの最先端結果を得る。 その結果、色付きメッシュ予測により、ポーズや形状推定以外にも、さまざまな外観関連タスクにフレームワークの使用が開放される。
  論文  参考訳（メタデータ） (2020-08-04T05:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。