論文の概要: Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models?

• arxiv url: http://arxiv.org/abs/2205.06149v1
• Date: Thu, 12 May 2022 15:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 13:48:02.058573
• Title: Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models?
• Title（参考訳）: ニューラルネットワークモデルにおける抽象的同義関係の計算は人間に似ているか?
• Authors: Lukas Thoma, Benjamin Roth
• Abstract要約: この研究は、人間の認知から知られている基本的なメカニズムを、最先端のNLPモデルが示すかどうかを考察する。 抽象的同性関係」の計算は、人間の言語習得と処理において重要な役割を果たしていると考えられている。
• 参考スコア（独自算出の注目度）: 4.0810783261728565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep neural language models have made strong progress in various NLP tasks. This work explores one facet of the question whether state-of-the-art NLP models exhibit elementary mechanisms known from human cognition. The exploration is focused on a relatively primitive mechanism for which there is a lot of evidence from various psycholinguistic experiments with infants. The computation of "abstract sameness relations" is assumed to play an important role in human language acquisition and processing, especially in learning more complex grammar rules. In order to investigate this mechanism in BERT and other pre-trained language models (PLMs), the experiment designs from studies with infants were taken as the starting point. On this basis, we designed experimental settings in which each element from the original studies was mapped to a component of language models. Even though the task in our experiments was relatively simple, the results suggest that the cognitive faculty of computing abstract sameness relations is stronger in infants than in all investigated PLMs.
• Abstract（参考訳）: 近年、ディープニューラルネットワークモデルは様々なnlpタスクにおいて強力な進歩を遂げている。 本研究では,現在最先端のNLPモデルが人間の認知から知られている基本的なメカニズムを示すかどうかを考察する。 調査は、幼児に対する様々な精神言語学的実験から多くの証拠がある比較的原始的なメカニズムに焦点を当てている。 抽象同性関係」の計算は、人間の言語習得と処理、特により複雑な文法規則の学習において重要な役割を担っていると仮定されている。 BERT や他の事前学習言語モデル (PLM) において, このメカニズムを解明するために, 幼児実験による実験設計を出発点とした。 そこで,本研究では,各要素を言語モデルの構成要素にマッピングする実験的な構成法を考案した。 本研究の課題は比較的単純であるが, 幼児における抽象的同性関係の認知能力は, 調査対象のPLMよりも強いことが示唆された。

関連論文リスト

• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Language Evolution with Deep Learning [49.879239655532324]
  計算モデリングは言語の出現の研究において重要な役割を担っている。 構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。 この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
  論文  参考訳（メタデータ） (2024-03-18T16:52:54Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• A Novel Ontology-guided Attribute Partitioning Ensemble Learning Model for Early Prediction of Cognitive Deficits using Quantitative Structural MRI in Very Preterm Infants [3.731292216299279]
  脳の成熟と幾何学的特徴は、後の神経発達障害を予測する機械学習モデルで利用することができる。 我々は,OAPアンサンブル学習(OAP-EL)と呼ばれるアンサンブル学習フレームワークを開発した。 OAP-ELを用いて2歳児の認知障害を定量的な脳成熟度と形態的特徴を用いて予測した。
  論文  参考訳（メタデータ） (2022-02-08T20:26:42Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Emergence of Separable Manifolds in Deep Language Representations [26.002842878797765]
  ディープニューラルネットワーク(DNN)は、様々な認知的モダリティをまたいだ知覚的タスクの解決において、非常に経験的な成功を示している。 最近の研究では、タスク最適化DNNから抽出された表現と脳内の神経集団の間にかなりの類似性が報告されている。 DNNは後に、複雑な認知機能の基礎となる計算原理を推論する一般的なモデルクラスとなった。
  論文  参考訳（メタデータ） (2020-06-01T17:23:44Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。