論文の概要: Large language models predict human sensory judgments across six modalities

• arxiv url: http://arxiv.org/abs/2302.01308v2
• Date: Thu, 15 Jun 2023 17:18:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 02:25:45.206847
• Title: Large language models predict human sensory judgments across six modalities
• Title（参考訳）: 大規模言語モデルによる人間の知覚判断の予測
• Authors: Raja Marjieh, Ilia Sucholutsky, Pol van Rijn, Nori Jacoby, Thomas L. Griffiths
• Abstract要約: 我々は、現在最先端の大規模言語モデルが、知覚世界を言語から回復する問題に対する新たな洞察を解き放つことができることを示す。 我々は、6つの精神物理学的データセットにわたるGPTモデルからペアワイズ類似性判定を導出する。 これらの判断は, 色輪やピッチスパイラルなどのよく知られた表現を復元し, 全領域にわたる人的データと有意な相関関係を示す。
• 参考スコア（独自算出の注目度）: 12.914521751805658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Determining the extent to which the perceptual world can be recovered from language is a longstanding problem in philosophy and cognitive science. We show that state-of-the-art large language models can unlock new insights into this problem by providing a lower bound on the amount of perceptual information that can be extracted from language. Specifically, we elicit pairwise similarity judgments from GPT models across six psychophysical datasets. We show that the judgments are significantly correlated with human data across all domains, recovering well-known representations like the color wheel and pitch spiral. Surprisingly, we find that a model (GPT-4) co-trained on vision and language does not necessarily lead to improvements specific to the visual modality. To study the influence of specific languages on perception, we also apply the models to a multilingual color-naming task. We find that GPT-4 replicates cross-linguistic variation in English and Russian illuminating the interaction of language and perception.
• Abstract（参考訳）: 知覚世界が言語から回復できる範囲を決定することは、哲学と認知科学における長年の問題である。 現状の大規模言語モデルが,言語から抽出可能な知覚情報の量に低いバウンダリを提供することで,この問題に対する新たな洞察を解き放つことができることを示す。 具体的には、6つの精神物理学的データセットにわたるGPTモデルからペアワイズ類似性判定を行う。 その結果,色輪やピッチスパイラルなどのよく知られた表現を復元し,すべての領域における人間のデータと有意な相関が認められた。 驚くべきことに、視覚と言語を併用したモデル(GPT-4)が、必ずしも視覚的モダリティに特有の改善をもたらすとは限らない。 特定の言語が知覚に与える影響を研究するため,多言語カラーナーミングタスクにもモデルを適用した。 GPT-4は言語と知覚の相互作用を示す英語とロシア語の言語間差異を再現する。

関連論文リスト

• Analyzing The Language of Visual Tokens [48.62180485759458]
  我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。 トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。 また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
  論文  参考訳（メタデータ） (2024-11-07T18:59:28Z)
• MulCogBench: A Multi-modal Cognitive Benchmark Dataset for Evaluating Chinese and English Computational Language Models [44.74364661212373]
  本稿では、中国語と英語のネイティブ参加者から収集した認知ベンチマークであるMulCogBenchを提案する。 主観的意味評価、視線追跡、機能的磁気共鳴画像(fMRI)、脳磁図(MEG)など、さまざまな認知データを含んでいる。 その結果、言語モデルは人間の認知データと大きな類似性を共有しており、類似性パターンはデータモダリティと刺激の複雑さによって変調されることがわかった。
  論文  参考訳（メタデータ） (2024-03-02T07:49:57Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Does Conceptual Representation Require Embodiment? Insights From Large Language Models [9.390117546307042]
  ヒトとChatGPT(GPT-3.5およびGPT-4)の4,442の語彙概念の表現の比較 2) GPT-4 は GPT-3.5 よりも優れており,GPT-4 の利得は付加的な視覚学習と結びついており,触覚やイメージ容易性などの関連性にも寄与すると考えられる。
  論文  参考訳（メタデータ） (2023-05-30T15:06:28Z)
• Like a bilingual baby: The advantage of visually grounding a bilingual language model [0.0]
  我々は、MS-COCO-ESから英語とスペイン語の画像やキャプションに基づいてLSTM言語モデルを訓練する。 視覚的基盤は、言語内および言語間のセマンティックな類似性に対するモデルの理解を改善し、パープレキシティを改善する。 本研究は,視覚的基盤言語モデルの利点を裏付ける追加の証拠を提供し,多言語話者と知覚的基盤を持つ多言語データセットからのより自然主義的な言語データの必要性を指摘する。
  論文  参考訳（メタデータ） (2022-10-11T14:43:26Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。