Fugu-MT 論文翻訳(概要): Word Frequency Does Not Predict Grammatical Knowledge in Language Models

論文の概要: Word Frequency Does Not Predict Grammatical Knowledge in Language Models

arxiv url: http://arxiv.org/abs/2010.13870v1
Date: Mon, 26 Oct 2020 19:51:36 GMT
ステータス: 処理完了
システム内更新日: 2022-10-02 19:07:20.395626
Title: Word Frequency Does Not Predict Grammatical Knowledge in Language Models
Title（参考訳）: 単語頻度は言語モデルにおける文法的知識を予測しない
Authors: Charles Yu, Ryan Sie, Nico Tedeschi, Leon Bergen
Abstract要約: 言語モデルの精度には,系統的な変化源が存在するかを検討する。特定の名詞は他の名詞よりも体系的によく理解されており、文法的タスクや異なる言語モデルに対して頑健である。名詞の文法的特性は,様々な訓練データからほとんど学習されないことが判明した。
参考スコア（独自算出の注目度）: 2.1984302611206537
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural language models learn, to varying degrees of accuracy, the grammatical properties of natural languages. In this work, we investigate whether there are systematic sources of variation in the language models' accuracy. Focusing on subject-verb agreement and reflexive anaphora, we find that certain nouns are systematically understood better than others, an effect which is robust across grammatical tasks and different language models. Surprisingly, we find that across four orders of magnitude, corpus frequency is unrelated to a noun's performance on grammatical tasks. Finally, we find that a novel noun's grammatical properties can be few-shot learned from various types of training data. The results present a paradox: there should be less variation in grammatical performance than is actually observed.
Abstract（参考訳）: ニューラルネットワークモデルは、自然言語の文法的特性を、様々な精度で学習する。本研究では,言語モデルの精度に系統的な変化源が存在するかを検討する。主語-動詞の合意と反射的照応に着目し,特定の名詞は他の名詞よりも体系的に理解され,文法的タスクと異なる言語モデルにおいて頑健な効果を示す。驚いたことに、コーパス周波数は4桁にわたって、文法的なタスクにおける名詞のパフォーマンスとは無関係である。最後に、新しい名詞の文法的性質は、様々な訓練データからほとんど学習されないことがわかった。結果はパラドックスを示している:実際に観察されるよりも文法的性能のばらつきが少ないはずである。

関連論文リスト

Principles of semantic and functional efficiency in grammatical patterning [1.6267479602370545]
数や性別などの文法的特徴は、人間の言語において2つの中心的な機能を持つ。数と性別は、数奇性やアニマシーのような有能な意味的属性を符号化するが、予測可能な単語のリンクによる文処理コストをオフロードする。文法は多種多様な言語にまたがって一貫した組織パターンを示しており、しばしば意味論的基盤に根ざしている。
論文参考訳（メタデータ） (2024-10-21T10:49:54Z)
What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
論文参考訳（メタデータ） (2024-07-12T22:10:16Z)
Syntactic Variation Across the Grammar: Modelling a Complex Adaptive System [0.76146285961466]
16か国49の英語話者の方言変化をモデル化した。その結果,構文変化の重要な部分は文法の異なる部分間の相互作用から成り立っていることがわかった。ニュージーランド英語は、オーストラリア英語の phrasal verb に類似しているが、同時に英英語の dative phrase にも類似している。
論文参考訳（メタデータ） (2023-09-21T08:14:34Z)
Quantifying the Roles of Visual, Linguistic, and Visual-Linguistic Complexity in Verb Acquisition [8.183763443800348]
我々は、事前学習された人工ニューラルネットワークから得られる単語の視覚的および言語的表現を用いる。動詞の表現は一般的に、名詞の表現よりも領域内ではより可変であり、識別しにくいことが分かる。視覚的可変性は、言語学習を内部的に推進する最強の要因であり、次いで視覚言語的アライメントと言語的可変性である。
論文参考訳（メタデータ） (2023-04-05T15:08:21Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change [6.7485485663645495]
まず,10個のデータセット上での多言語ニューラル言語モデル(XLM-R)の性能を比較し,その性能を7つの言語で比較した。この結果から,XLM-Rによる文法プロファイルのアンサンブルにより,ほとんどのデータセットや言語における意味変化検出性能が向上することが示唆された。
論文参考訳（メタデータ） (2022-04-12T11:20:42Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Investigating Cross-Linguistic Adjective Ordering Tendencies with a Latent-Variable Model [66.84264870118723]
本稿では,多言語形容詞順序付けを潜在変数モデルとして,初めて純粋コーパス駆動モデルを提案する。我々は普遍的、言語横断的、階層的形容詞順序付け傾向の存在の強い確固たる証拠を提供する。
論文参考訳（メタデータ） (2020-10-09T18:27:55Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)
An exploration of the encoding of grammatical gender in word embeddings [0.6461556265872973]
単語埋め込みに基づく文法性の研究は、文法性がどのように決定されるかについての議論の洞察を与えることができる。スウェーデン語、デンマーク語、オランダ語の埋め込みにおいて、文法的な性別がどのように符号化されているかには重複があることが判明した。
論文参考訳（メタデータ） (2020-08-05T06:01:46Z)
On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。