論文の概要: Is neural language acquisition similar to natural? A chronological probing study

• arxiv url: http://arxiv.org/abs/2207.00560v1
• Date: Fri, 1 Jul 2022 17:24:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 13:42:10.648685
• Title: Is neural language acquisition similar to natural? A chronological probing study
• Title（参考訳）: ニューラルネットワークの獲得は自然と似ているか? 時系列調査
• Authors: Ekaterina Voloshina, Oleg Serikov, Tatiana Shavrina
• Abstract要約: 本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
• 参考スコア（独自算出の注目度）: 0.0515648410037406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The probing methodology allows one to obtain a partial representation of linguistic phenomena stored in the inner layers of the neural network, using external classifiers and statistical analysis. Pre-trained transformer-based language models are widely used both for natural language understanding (NLU) and natural language generation (NLG) tasks making them most commonly used for downstream applications. However, little analysis was carried out, whether the models were pre-trained enough or contained knowledge correlated with linguistic theory. We are presenting the chronological probing study of transformer English models such as MultiBERT and T5. We sequentially compare the information about the language learned by the models in the process of training on corpora. The results show that 1) linguistic information is acquired in the early stages of training 2) both language models demonstrate capabilities to capture various features from various levels of language, including morphology, syntax, and even discourse, while they also can inconsistently fail on tasks that are perceived as easy. We also introduce the open-source framework for chronological probing research, compatible with other transformer-based models. https://github.com/EkaterinaVoloshina/chronological_probing
• Abstract（参考訳）: 探索手法により、外部分類器と統計解析を用いて、ニューラルネットワークの内層に記憶されている言語現象の部分表現を得ることができる。 事前学習されたトランスフォーマーベースの言語モデルは、自然言語理解(NLU)と自然言語生成(NLG)の両方に広く使われており、下流アプリケーションでよく使われている。 しかし、モデルが十分に事前訓練されているか、言語理論と相関する知識を含んでいるか、分析はほとんど行われなかった。 我々は、MultiBERTやT5といったトランスフォーマー英語モデルの時系列調査を行っている。 コーパスの学習過程において,モデルが学習した言語に関する情報を逐次比較する。 その結果は 1)訓練の初期段階で言語情報が取得される 2)両方の言語モデルは、形態素、構文、さらには談話など、さまざまなレベルの言語から様々な機能をキャプチャする能力を示しています。 また,他のトランスフォーマーモデルと互換性のある時系列調査のためのオープンソースフレームワークについても紹介する。 https://github.com/EkaterinaVoloshina/chronological_probing

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
  理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。 この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
  論文  参考訳（メタデータ） (2022-07-20T04:20:46Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Examining the Inductive Bias of Neural Language Models with Artificial Languages [42.699545862522214]
  本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。 これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
  論文  参考訳（メタデータ） (2021-06-02T09:34:32Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。