論文の概要: Advancements and limitations of LLMs in replicating human color-word associations

• arxiv url: http://arxiv.org/abs/2411.02116v2
• Date: Tue, 05 Nov 2024 08:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:54.715515
• Title: Advancements and limitations of LLMs in replicating human color-word associations
• Title（参考訳）: ヒト色覚関連因子の複製におけるLLMの進歩と限界
• Authors: Makoto Fukushima, Shusuke Eshita, Hiroshige Fukuhara,
• Abstract要約: 大規模言語モデル(LLM)が広く普及し、自然な会話スキルを持つ様々なベンチマークでインテリジェントな振る舞いを実証している。 日本人1万人以上の参加者から収集したデータを用いて,複数世代にわたるLLMと人間の色覚関連性を比較検討した。 本研究は,LLM能力の発達と持続的限界を両立させ,色覚関連性を表現する上での人間とLLMのセマンティックメモリ構造の違いを示唆する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Color-word associations play a fundamental role in human cognition and design applications. Large Language Models (LLMs) have become widely available and demonstrated intelligent behaviors in various benchmarks with natural conversation skills. However, their ability to replicate human color-word associations remains understudied. We compared multiple generations of LLMs (from GPT-3 to GPT-4o) against human color-word associations using data collected from over 10,000 Japanese participants, involving 17 colors and words from eight categories in Japanese. Our findings reveal a clear progression in LLM performance across generations, with GPT-4o achieving the highest accuracy in predicting the best voted word for each color and category. However, the highest median performance was approximately 50% even for GPT-4o with visual inputs (chance level is 10%), and the performance levels varied significantly across word categories and colors, indicating a failure to fully replicate human color-word associations. On the other hand, color discrimination ability estimated from our color-word association data showed that LLMs demonstrated high correlation with human color discrimination patterns, similarly to previous studies. Our study highlights both the advancements in LLM capabilities and their persistent limitations, suggesting differences in semantic memory structures between humans and LLMs in representing color-word associations.
• Abstract（参考訳）: カラーワード・アソシエーションは、人間の認知とデザインの応用において基本的な役割を担っている。 大規模言語モデル(LLM)が広く普及し、自然な会話スキルを持つ様々なベンチマークでインテリジェントな振る舞いを実証している。 しかし、人間の色と単語の関連を再現する能力はまだ検討されていない。 我々は,日本人1万人以上の参加者から収集したデータを用いて,複数世代にわたるLCM(GPT-3, GPT-4o)とヒトのカラーワード関連を比較検討した。 GPT-4oは,各色とカテゴリに最適な投票語を推定する上で,最も高い精度を達成している。 しかし, GPT-4oでは, 視覚的入力が10%であった場合においても, 高い中央値が50%程度であり, 単語のカテゴリや色によって性能は有意に変化し, 人間の色覚関連性を完全に再現できなかったことが示唆された。 一方, カラーワード関連データから推定した色識別能力は, 従来の研究と同様, LLMが人間の色識別パターンと高い相関を示した。 本研究は,LLM能力の発達と持続的限界を両立させ,色覚関連性を表現する上での人間とLLMのセマンティックメモリ構造の違いを示唆する。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• L-C4: Language-Based Video Colorization for Creative and Consistent Color [59.069498113050436]
  創造的・一貫性のある色(L-C4)のための言語ベースビデオカラー化を提案する。 我々のモデルは、事前訓練された相互モダリティ生成モデルに基づいて構築される。 本研究では,フリックやカラーシフトを防止するために時間的に変形可能な注意点と,長期のカラー一貫性を維持するためにクロスクリップ融合を提案する。
  論文  参考訳（メタデータ） (2024-10-07T12:16:21Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• MirrorStories: Reflecting Diversity through Personalized Narrative Generation with Large Language Models [5.397565689903148]
  本研究では,パーソナライズされた「ミラーストーリー」作成におけるLarge Language Models(LLM)の有効性について検討する。 ミラーストリーズ(MirrorStories)は、名前、性別、年齢、民族性、読者の興味、ストーリーモラルといった要素を統合した1500のパーソナライズされた短編小説のコーパスである。
  論文  参考訳（メタデータ） (2024-09-20T22:43:13Z)
• Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments [14.143299702954023]
  本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。 我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
  論文  参考訳（メタデータ） (2024-08-08T08:13:25Z)
• Large Language Models estimate fine-grained human color-concept associations [8.075476126874252]
  マルチモーダルな大言語モデルであるGPT-4は、追加のトレーニングを伴わずに、人間のような色覚関連を推定する能力について検討する。 GPT-4のレーティングは人間のレーティングと相関し、画像から色覚関連を自動的に推定する最先端の手法に匹敵する性能を示した。 GPT-4は、幅広い概念のカラーアソシエーションの分布を効率的に推定するために使用することができ、効果的で直感的な情報視覚化を設計するための重要なツールとして機能する可能性がある。
  論文  参考訳（メタデータ） (2024-05-04T04:19:15Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
  人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。 本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2024-03-17T07:08:55Z)
• Generation Of Colors using Bidirectional Long Short Term Memory Networks [0.0]
  人間の視覚は、200万から700万の識別可能な色合いと推定される、幅広い色のスペクトルを区別することができる。 この研究は、無数の陰影に対する視覚的認識と、それらを正確に表現し、命名する能力のギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2023-11-11T11:35:37Z)
• Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in Large Language Models [4.412336603162406]
  大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。 本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
  論文  参考訳（メタデータ） (2023-05-18T07:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。