論文の概要: Learning Music Helps You Read: Using Transfer to Study Linguistic
Structure in Language Models
- arxiv url: http://arxiv.org/abs/2004.14601v3
- Date: Fri, 30 Oct 2020 17:41:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 04:06:13.203666
- Title: Learning Music Helps You Read: Using Transfer to Study Linguistic
Structure in Language Models
- Title（参考訳）: 音楽を学ぶ: 言語モデルにおける言語構造を学ぶためにトランスファーを使う
- Authors: Isabel Papadimitriou and Dan Jurafsky
- Abstract要約: 遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。
語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
- 参考スコア（独自算出の注目度）: 27.91397366776451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose transfer learning as a method for analyzing the encoding of
grammatical structure in neural language models. We train LSTMs on
non-linguistic data and evaluate their performance on natural language to
assess which kinds of data induce generalizable structural features that LSTMs
can use for natural language. We find that training on non-linguistic data with
latent structure (MIDI music or Java code) improves test performance on natural
language, despite no overlap in surface form or vocabulary. To pinpoint the
kinds of abstract structure that models may be encoding to lead to this
improvement, we run similar experiments with two artificial parentheses
languages: one which has a hierarchical recursive structure, and a control
which has paired tokens but no recursion. Surprisingly, training a model on
either of these artificial languages leads to the same substantial gains when
testing on natural language. Further experiments on transfer between natural
languages controlling for vocabulary overlap show that zero-shot performance on
a test language is highly correlated with typological syntactic similarity to
the training language, suggesting that representations induced by pre-training
correspond to the cross-linguistic syntactic properties. Our results provide
insights into the ways that neural models represent abstract syntactic
structure, and also about the kind of structural inductive biases which allow
for natural language acquisition.
- Abstract（参考訳）: 本稿では,ニューラルネットワークモデルにおける文法構造の符号化解析手法としてトランスファーラーニングを提案する。
我々はLSTMを非言語データで学習し、自然言語上での性能を評価し、LSTMが自然言語に利用できる一般化可能な構造的特徴をどの種類のデータから導き出すかを評価する。
また,非言語的データ(MIDI音楽やJavaコード)の学習は,表層構造や語彙の重なりが無く,自然言語によるテスト性能の向上を図っている。
この改良につながるためにモデルが符号化している抽象構造の種類を特定するために、階層的再帰構造を持つ2つの人工括弧言語と、ペアトークンを持つが再帰はしない制御とを用いて同様の実験を行う。
驚くべきことに、これらの人工言語でモデルをトレーニングすることは、自然言語でテストするときにも同様に大幅に向上する。
語彙重複を制御した自然言語間の伝達に関するさらなる実験により、テスト言語におけるゼロショット性能は、訓練言語とタイプ論的構文類似度と高い相関関係にあり、事前学習によって引き起こされる表現は、言語横断構文特性に対応していることが示唆された。
本研究は,ニューラルネットワークが抽象構文構造を表現する方法や,自然言語獲得を可能にする構造的帰納的バイアスの類型に関する知見を提供する。
関連論文リスト
- Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。
代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - Transparency at the Source: Evaluating and Interpreting Language Models
With Access to the True Distribution [4.01799362940916]
人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。
データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。
基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
論文 参考訳（メタデータ） (2023-10-23T12:03:01Z) - Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。
本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。
この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
論文 参考訳（メタデータ） (2022-10-26T04:47:18Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Is neural language acquisition similar to natural? A chronological
probing study [0.0515648410037406]
本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。
コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。
その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
論文 参考訳（メタデータ） (2022-07-01T17:24:11Z) - Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。
このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。
また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文 参考訳（メタデータ） (2022-03-24T21:24:54Z) - Pretraining with Artificial Language: Studying Transferable Knowledge in
Language Models [32.27333420000134]
ニューラルネットワークエンコーダが自然言語処理にどのような構造的知識を伝達できるかを考察する。
我々は、自然言語を模倣する構造的特性を持つ人工言語を設計し、データ上にエンコーダを事前訓練し、そのエンコーダが自然言語の下流タスクにどれだけの性能を示すかを確認する。
論文 参考訳（メタデータ） (2022-03-19T13:29:48Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Examining the Inductive Bias of Neural Language Models with Artificial
Languages [42.699545862522214]
本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。
これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
論文 参考訳（メタデータ） (2021-06-02T09:34:32Z) - Linguistic Typology Features from Text: Inferring the Sparse Features of
World Atlas of Language Structures [73.06435180872293]
我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。
様々な言語型の特徴を確実に予測できることを示す。
論文 参考訳（メタデータ） (2020-04-30T21:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。