論文の概要: Benchmarking color judgment in multimodal LLMs with CIE-computable ground truth

• arxiv url: http://arxiv.org/abs/2610.40212v1
• Date: Thu, 29 Oct 2026 14:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 07:56:58.306641
• Title: Benchmarking color judgment in multimodal LLMs with CIE-computable ground truth
• Title（参考訳）: CIE計算可能な基底真理を用いた多モードLCMにおける色判定のベンチマーク
• Abstract要約: マルチモーダル大言語モデル (MLLM) は、画像品質のゼロショット判定に使われている。 CIE測色フレームワークに基づく5タスクのベンチマークを示す。 我々は,4種類のQwen3-VL,GLM-4.5V,GPT-5.4,Claude-Opus-4.7,Gemini-3.1-Proを含む8つのMLLMエンドポイントをテストする。
• 参考スコア（独自算出の注目度）: 4.485475813876525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) are now used as zero-shot judges of image quality, but their color judgments are rarely tested with colorimetric ground truth. We present a five-task benchmark based on the CIE colorimetric framework: AWB pair judgment, skin-tone bias direction, CCT estimation, CIE Delta E 2000 pair ordering, and color naming under changing illuminants. We test eight MLLM endpoints, including four Qwen3-VL variants, GLM-4.5V, GPT-5.4, Claude-Opus-4.7, and Gemini-3.1-Pro. The models often solve coarse binary AWB judgments, but they remain weak on numeric CCT estimation and on some fine color-difference judgments. On ColorChecker-24 stimuli, the three closed-weight frontier models reach CCT MAE of 715-1056 K, compared with 1358-2133 K for the five open-weight models. A non-ColorChecker control shows that this advantage is partly template-dependent. The results suggest that current MLLMs have useful color words and coarse visual priors, but their color judgments are not reliably calibrated to CIE-computable color differences.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は画像品質のゼロショット判定法として使用されているが、色判定は色測定による真実の検証はめったに行われない。 我々は,AWB対判定,スキン-トーン偏差方向,CCT推定,CIE Delta E 2000ペア順序付け,照明条件の変更による色命名という,CIEカラーメトリック・フレームワークに基づく5タスク・ベンチマークを提案する。 我々は,4種類のQwen3-VL,GLM-4.5V,GPT-5.4,Claude-Opus-4.7,Gemini-3.1-Proを含む8つのMLLMエンドポイントをテストする。 モデルはしばしば粗い二分AWB判定を解くが、数値的なCCT推定や微妙な色差判定には弱いままである。 ColorChecker-24刺激では、3つのクローズドウェイトフロンティアモデルが715-1056 KのCCT MAEに到達し、5つのオープンウェイトモデルでは1358-2133 Kとなった。 非ColorCheckerコントロールは、この利点が部分的にテンプレートに依存していることを示している。 以上の結果から,現在のMLLMはカラーワードと粗い視覚的先行詞が有用であることが示唆されるが,その色判定はCIE計算可能な色差に確実に調整されない。

関連論文リスト

• Perceptual Color Difference Modeling Using Machine Learning and Human Similarity Judgments [0.0]
  本研究では,人間の評価に基づいて色差推定のためのデータ駆動手法について検討する。 我々は,2000の系統的な色対に対して類似性判定を行い,それぞれが4点順序尺度を用いて7人の観測者によって評価された。 これらの判断は、RGBチャンネル差、HSI差、COLIBRIファジィ言語カテゴリーなど、異なる色表現を用いた回帰モデルのトレーニングに使用される。
  論文  参考訳（メタデータ） (2026-09-30T07:01:39Z)
• MCIQA-2K: A Multi-Dimensional Dataset and No-Reference Quality Assessment Benchmark for Colorized Images [67.85311078596952]
  色付き画像の非参照品質評価に特化して設計された大規模ベンチマークMCIQA-2Kを提案する。 提案したベンチマークに基づいて,色付き画像のための専用マルチブランチNR-IQAフレームワークであるMCIQAを紹介する。
  論文  参考訳（メタデータ） (2026-09-13T13:05:00Z)
• Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty? [59.923111838399144]
  本稿では,視覚的審美性ベンチマーク (VAB) を提案する。 VABには400のタスクと1,195のイメージが芸術、写真、イラストに含まれており、ラベルはタスクごとに10人の独立した専門家審査員のコンセンサスから導かれる。 最強のシステムは、人間の専門家が達成した68.9%よりもはるかに低い26.5%のタスクで、候補順の3つのランダムな順で、最良の画像と最悪の画像の両方を正しく識別する。
  論文  参考訳（メタデータ） (2026-05-12T19:33:28Z)
• When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't [48.4091438200409]
  決定ルールを抽出し,これらのルールに対する従順性を評価するために,グレードドカラー属性データセットを導入する。 モデルが自身の内省的ルールを体系的に違反していることが分かりました。 以上の結果から,VLMの推論失敗は困難であり,VLMの内観的自己認識が誤校正されることが示唆された。
  論文  参考訳（メタデータ） (2026-04-07T19:59:45Z)
• GenColorBench: A Color Evaluation Benchmark for Text-to-Image Generation Models [61.786094845872576]
  GenColorBenchは、テキストから画像までのカラー生成のための、最初の総合的なベンチマークである。 I SCC-NBS や CSS3/X11 などのカラーシステムにも採用されている。 400以上の色をカバーする44K色のプロンプトによって、知覚的および自動評価を通じてモデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2025-10-23T14:12:55Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Color Names in Vision-Language Models [48.847573209643265]
  視覚言語モデル(VLM)におけるカラー命名機能の最初の体系的評価について述べる。 以上の結果から,VLMは古典的な研究から色に対して高い精度が得られる一方で,拡張された非原型カラーセットでは性能が著しく低下することが示唆された。 我々は、すべてのモデルに一貫して現れる21の共通色項を特定し、2つの異なるアプローチを明らかにした。
  論文  参考訳（メタデータ） (2025-09-26T16:04:18Z)
• ColorBench: Can VLMs See and Understand the Colorful World? A Comprehensive Benchmark for Color Perception, Reasoning, and Robustness [36.4864789593103]
  視覚言語モデル(VLM)が人間の色を知覚し、理解し、活用できるかどうかは不明である。 本稿では,色理解におけるVLMの性能を評価するベンチマークであるColorBenchを紹介する。
  論文  参考訳（メタデータ） (2025-04-10T16:36:26Z)
• CCC: Color Classified Colorization [0.0]
  カラー化問題を多項分類問題に定式化し、次に重み付き関数をクラスに適用する。 カラー値をカラークラスに変換するための式セットを提案し,その逆も提案する。 提案したモデルと5つの異なるデータセットを用いた最先端モデルを比較した。
  論文  参考訳（メタデータ） (2024-03-03T11:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。