論文の概要: Large Language Models estimate fine-grained human color-concept associations

• arxiv url: http://arxiv.org/abs/2406.17781v1
• Date: Sat, 4 May 2024 04:19:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 06:21:45.772101
• Title: Large Language Models estimate fine-grained human color-concept associations
• Title（参考訳）: 大規模言語モデルによる微粒な人間の色覚関連性の推定
• Authors: Kushin Mukherjee, Timothy T. Rogers, Karen B. Schloss,
• Abstract要約: マルチモーダルな大言語モデルであるGPT-4は、追加のトレーニングを伴わずに、人間のような色覚関連を推定する能力について検討する。 GPT-4のレーティングは人間のレーティングと相関し、画像から色覚関連を自動的に推定する最先端の手法に匹敵する性能を示した。 GPT-4は、幅広い概念のカラーアソシエーションの分布を効率的に推定するために使用することができ、効果的で直感的な情報視覚化を設計するための重要なツールとして機能する可能性がある。
• 参考スコア（独自算出の注目度）: 8.075476126874252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concepts, both abstract and concrete, elicit a distribution of association strengths across perceptual color space, which influence aspects of visual cognition ranging from object recognition to interpretation of information visualizations. While prior work has hypothesized that color-concept associations may be learned from the cross-modal statistical structure of experience, it has been unclear whether natural environments possess such structure or, if so, whether learning systems are capable of discovering and exploiting it without strong prior constraints. We addressed these questions by investigating the ability of GPT-4, a multimodal large language model, to estimate human-like color-concept associations without any additional training. Starting with human color-concept association ratings for 71 color set spanning perceptual color space (\texttt{UW-71}) and concepts that varied in abstractness, we assessed how well association ratings generated by GPT-4 could predict human ratings. GPT-4 ratings were correlated with human ratings, with performance comparable to state-of-the-art methods for automatically estimating color-concept associations from images. Variability in GPT-4's performance across concepts could be explained by specificity of the concept's color-concept association distribution. This study suggests that high-order covariances between language and perception, as expressed in the natural environment of the internet, contain sufficient information to support learning of human-like color-concept associations, and provides an existence proof that a learning system can encode such associations without initial constraints. The work further shows that GPT-4 can be used to efficiently estimate distributions of color associations for a broad range of concepts, potentially serving as a critical tool for designing effective and intuitive information visualizations.
• Abstract（参考訳）: 概念は抽象的かつ具体的であり、知覚的な色空間にまたがる関連強度の分布をもたらし、物体認識から情報可視化の解釈まで視覚認知の側面に影響を与える。 先行研究では、経験のクロスモーダルな統計構造から着色概念の関連が学べると推測されているが、自然環境がそのような構造を持っているか、あるいは学習システムが強い事前制約なしにそれを発見・活用できるかどうかは不明である。 我々は,多モーダルな大言語モデルであるGPT-4を,追加のトレーニングを伴わずに,人間のような色覚関連を推定する能力について検討することで,これらの課題に対処した。 知覚色空間にまたがる71色集合(\texttt{UW-71})の人間の色覚関連性評価と抽象性の異なる概念から、GPT-4で生成した相関性評価が人体評価をどれだけ良く予測できるかを考察した。 GPT-4のレーティングは人間のレーティングと相関し、画像から色覚関連を自動的に推定する最先端の手法に匹敵する性能を示した。 GPT-4のコンセプト間の性能の変動は、コンセプトのカラーコンセプト関連分布の特異性によって説明できる。 本研究は,インターネットの自然環境において表現される言語と知覚の高次共変性が,人間の色覚関連性の学習を支援するのに十分な情報を含んでいることを示唆する。 この研究により、GPT-4は幅広い概念のカラーアソシエーションの分布を効率的に推定することができ、効果的で直感的な情報視覚化を設計するための重要なツールとして機能する可能性が示唆された。

関連論文リスト

• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Unsupervised discovery of Interpretable Visual Concepts [0.0]
  モデルの決定を説明する2つの方法を提案し,グローバルな解釈可能性を高める。 咬合・感性分析(因果性を含む)にインスパイアされた1つの方法 別の方法は、クラス認識順序相関 (Class-Aware Order correlation, CAOC) と呼ばれる新しいメトリクスを用いて、最も重要な画像領域を世界規模で評価する。
  論文  参考訳（メタデータ） (2023-08-31T07:53:02Z)
• Concept Bottleneck with Visual Concept Filtering for Explainable Medical Image Classification [16.849592713393896]
  概念ボトルネックモデル(CBM)は、人間の理解可能な概念を中間目標として利用することにより、解釈可能な画像分類を可能にする。 視覚的アクティベーションスコアは,視覚的手がかりを含むか否かを測定する。 計算された視覚的アクティベーションスコアは、見えない概念をフィルタリングするために使用され、結果として視覚的に意味のある概念がセットされる。
  論文  参考訳（メタデータ） (2023-08-23T05:04:01Z)
• ConceptBed: Evaluating Concept Learning Abilities of Text-to-Image Diffusion Models [79.10890337599166]
  本研究では,284のユニークな視覚概念と33Kの合成テキストプロンプトからなる大規模データセットであるConceptBedを紹介する。 我々は、対象、属性、スタイルのいずれかである視覚概念を評価し、また、構成性の4つの次元(計数、属性、関係、行動)を評価する。 私たちの結果は、概念を学ぶことと、既存のアプローチが克服に苦労する構成性を維持することのトレードオフを示しています。
  論文  参考訳（メタデータ） (2023-06-07T18:00:38Z)
• Large language models predict human sensory judgments across six modalities [12.914521751805658]
  我々は、現在最先端の大規模言語モデルが、知覚世界を言語から回復する問題に対する新たな洞察を解き放つことができることを示す。 我々は、6つの精神物理学的データセットにわたるGPTモデルからペアワイズ類似性判定を導出する。 これらの判断は, 色輪やピッチスパイラルなどのよく知られた表現を復元し, 全領域にわたる人的データと有意な相関関係を示す。
  論文  参考訳（メタデータ） (2023-02-02T18:32:46Z)
• ColorSense: A Study on Color Vision in Machine Visual Recognition [57.916512479603064]
  視覚認識ベンチマークから,前景や背景色ラベルの非自明なアノテーション110,000点を収集する。 色識別のレベルがマシン認識モデルの性能に与える影響を実証することにより、データセットの使用を検証した。 その結果,分類や局所化などの物体認識タスクは,色覚バイアスの影響を受けやすいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-16T18:51:41Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Discovering Concepts in Learned Representations using Statistical Inference and Interactive Visualization [0.76146285961466]
  概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。 現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。 本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-09T22:29:48Z)
• Unsupervised Learning of Compositional Energy Concepts [70.11673173291426]
  本稿では,概念を別個のエネルギー関数として発見し,表現するCOMETを提案する。 Cometは、統一されたフレームワークの下でのオブジェクトだけでなく、グローバルな概念も表現します。
  論文  参考訳（メタデータ） (2021-11-04T17:46:12Z)
• Can Language Models Encode Perceptual Structure Without Grounding? A Case Study in Color [18.573415435334105]
  我々は,知覚的に有意な距離測定値を持つ色空間であるCIELABで表されるモノレキセミックカラー用語とカラーチップのデータセットを用いる。 この空間における色の構造的アライメントをテキスト由来の色項表現で評価する2つの手法を用いて,有意な対応性を見出した。 温かい色は、平均すると、より涼しい色よりも知覚的な色空間に合わせた方がよいことがわかりました。
  論文  参考訳（メタデータ） (2021-09-13T17:09:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。