論文の概要: MulCogBench: A Multi-modal Cognitive Benchmark Dataset for Evaluating Chinese and English Computational Language Models

• arxiv url: http://arxiv.org/abs/2403.01116v1
• Date: Sat, 2 Mar 2024 07:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:05:45.781717
• Title: MulCogBench: A Multi-modal Cognitive Benchmark Dataset for Evaluating Chinese and English Computational Language Models
• Title（参考訳）: MulCogBench:中国語と英語の計算言語モデルを評価するためのマルチモーダル認知ベンチマークデータセット
• Authors: Yunhao Zhang, Xiaohan Zhang, Chong Li, Shaonan Wang, Chengqing Zong
• Abstract要約: 本稿では、中国語と英語のネイティブ参加者から収集した認知ベンチマークであるMulCogBenchを提案する。 主観的意味評価、視線追跡、機能的磁気共鳴画像(fMRI)、脳磁図(MEG)など、さまざまな認知データを含んでいる。 その結果、言語モデルは人間の認知データと大きな類似性を共有しており、類似性パターンはデータモダリティと刺激の複雑さによって変調されることがわかった。
• 参考スコア（独自算出の注目度）: 44.74364661212373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained computational language models have recently made remarkable progress in harnessing the language abilities which were considered unique to humans. Their success has raised interest in whether these models represent and process language like humans. To answer this question, this paper proposes MulCogBench, a multi-modal cognitive benchmark dataset collected from native Chinese and English participants. It encompasses a variety of cognitive data, including subjective semantic ratings, eye-tracking, functional magnetic resonance imaging (fMRI), and magnetoencephalography (MEG). To assess the relationship between language models and cognitive data, we conducted a similarity-encoding analysis which decodes cognitive data based on its pattern similarity with textual embeddings. Results show that language models share significant similarities with human cognitive data and the similarity patterns are modulated by the data modality and stimuli complexity. Specifically, context-aware models outperform context-independent models as language stimulus complexity increases. The shallow layers of context-aware models are better aligned with the high-temporal-resolution MEG signals whereas the deeper layers show more similarity with the high-spatial-resolution fMRI. These results indicate that language models have a delicate relationship with brain language representations. Moreover, the results between Chinese and English are highly consistent, suggesting the generalizability of these findings across languages.
• Abstract（参考訳）: 事前学習された計算言語モデルは、最近、人間特有の言語能力の活用において顕著な進歩を遂げた。 彼らの成功は、これらのモデルが人間のような言語を表現し、処理するかどうかに関心を寄せている。 そこで本研究では,中国語と英語の参加者から収集したマルチモーダル認知ベンチマークであるMulCogBenchを提案する。 主観的意味評価、視線追跡、機能的磁気共鳴画像(fMRI)、脳磁図(MEG)など、様々な認知データを含んでいる。 言語モデルと認知データとの関係を評価するために,テキスト埋め込みとパターン類似性に基づいて認識データをデコードする類似度エンコーディング分析を行った。 その結果、言語モデルは人間の認知データと大きな類似性を共有し、類似性パターンはデータモダリティと刺激の複雑さによって変調されることがわかった。 特に、文脈認識モデルは、言語刺激の複雑さが増加するにつれて、文脈に依存しないモデルを上回る。 文脈認識モデルの浅い層は高時間分解能MEG信号とよく一致しているが、深い層は高空間分解能fMRIとより類似している。 これらの結果から,言語モデルと脳言語表現との微妙な関係が示唆された。 さらに、中国語と英語の結果は極めて一貫したものであり、これらの発見が言語間で一般化可能であることを示唆している。

関連論文リスト

• Analyzing The Language of Visual Tokens [48.62180485759458]
  我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。 トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。 また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
  論文  参考訳（メタデータ） (2024-11-07T18:59:28Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models [29.50162863143141]
  様々なニューラルネットワークモデルと心理的に妥当なモデルの符号化性能を比較した。 意外なことに、心理学的に妥当なモデルが、さまざまな文脈でニューラルネットワークモデルより優れていることが判明した。
  論文  参考訳（メタデータ） (2024-04-30T08:48:07Z)
• Computational Models to Study Language Processing in the Human Brain: A Survey [47.81066391664416]
  本稿では,脳研究における計算モデルの利用の取り組みを概観し,新たな傾向を浮き彫りにしている。 我々の分析によると、すべてのデータセットで他のモデルよりも優れているモデルはない。
  論文  参考訳（メタデータ） (2024-03-20T08:01:22Z)
• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models [28.036233760742125]
  我々は多言語言語モデル(XGLMと多言語BERT)を様々な言語で因果的に探索する。 自己回帰型多言語言語モデルでは、言語間で大きなニューロンオーバーラップが見られるが、マスキング言語モデルではない。
  論文  参考訳（メタデータ） (2022-10-25T20:43:36Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。