論文の概要: Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models?

• arxiv url: http://arxiv.org/abs/2205.06149v1
• Date: Thu, 12 May 2022 15:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 13:48:02.058573
• Title: Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models?
• Title（参考訳）: ニューラルネットワークモデルにおける抽象的同義関係の計算は人間に似ているか?
• Authors: Lukas Thoma, Benjamin Roth
• Abstract要約: この研究は、人間の認知から知られている基本的なメカニズムを、最先端のNLPモデルが示すかどうかを考察する。 抽象的同性関係」の計算は、人間の言語習得と処理において重要な役割を果たしていると考えられている。
• 参考スコア（独自算出の注目度）: 4.0810783261728565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep neural language models have made strong progress in various NLP tasks. This work explores one facet of the question whether state-of-the-art NLP models exhibit elementary mechanisms known from human cognition. The exploration is focused on a relatively primitive mechanism for which there is a lot of evidence from various psycholinguistic experiments with infants. The computation of "abstract sameness relations" is assumed to play an important role in human language acquisition and processing, especially in learning more complex grammar rules. In order to investigate this mechanism in BERT and other pre-trained language models (PLMs), the experiment designs from studies with infants were taken as the starting point. On this basis, we designed experimental settings in which each element from the original studies was mapped to a component of language models. Even though the task in our experiments was relatively simple, the results suggest that the cognitive faculty of computing abstract sameness relations is stronger in infants than in all investigated PLMs.
• Abstract（参考訳）: 近年、ディープニューラルネットワークモデルは様々なnlpタスクにおいて強力な進歩を遂げている。 本研究では,現在最先端のNLPモデルが人間の認知から知られている基本的なメカニズムを示すかどうかを考察する。 調査は、幼児に対する様々な精神言語学的実験から多くの証拠がある比較的原始的なメカニズムに焦点を当てている。 抽象同性関係」の計算は、人間の言語習得と処理、特により複雑な文法規則の学習において重要な役割を担っていると仮定されている。 BERT や他の事前学習言語モデル (PLM) において, このメカニズムを解明するために, 幼児実験による実験設計を出発点とした。 そこで,本研究では,各要素を言語モデルの構成要素にマッピングする実験的な構成法を考案した。 本研究の課題は比較的単純であるが, 幼児における抽象的同性関係の認知能力は, 調査対象のPLMよりも強いことが示唆された。

関連論文リスト

• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• A Novel Ontology-guided Attribute Partitioning Ensemble Learning Model for Early Prediction of Cognitive Deficits using Quantitative Structural MRI in Very Preterm Infants [3.731292216299279]
  脳の成熟と幾何学的特徴は、後の神経発達障害を予測する機械学習モデルで利用することができる。 我々は,OAPアンサンブル学習(OAP-EL)と呼ばれるアンサンブル学習フレームワークを開発した。 OAP-ELを用いて2歳児の認知障害を定量的な脳成熟度と形態的特徴を用いて予測した。
  論文  参考訳（メタデータ） (2022-02-08T20:26:42Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Word Acquisition in Neural Language Models [0.38073142980733]
  ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。 子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
  論文  参考訳（メタデータ） (2021-10-05T23:26:16Z)
• Kinship Verification Based on Cross-Generation Feature Interaction Learning [53.62256887837659]
  顔画像からの血縁検証は、コンピュータビジョンの応用において、新しいが挑戦的な技術として認識されている。 本稿では,頑健な親族関係検証のためのクロスジェネレーション・インタラクション・ラーニング(CFIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-07T01:50:50Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Linguistic dependencies and statistical dependence [76.89273585568084]
  文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。 最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
  論文  参考訳（メタデータ） (2021-04-18T02:43:37Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。