論文の概要: Inflecting when there's no majority: Limitations of encoder-decoder neural networks as cognitive models for German plurals

• arxiv url: http://arxiv.org/abs/2005.08826v1
• Date: Mon, 18 May 2020 15:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 23:40:18.640522
• Title: Inflecting when there's no majority: Limitations of encoder-decoder neural networks as cognitive models for German plurals
• Title（参考訳）: 多数派がいない場合の帰納法:ドイツの複数形の認知モデルとしてのエンコーダ-デコーダニューラルネットワークの限界
• Authors: Kate McCurdy, Sharon Goldwater, Adam Lopez
• Abstract要約: 人工ニューラルネットワークは、屈折形態を表すことを学習し、人間の話者のように新しい言葉に一般化できるか? EDモデルでは利用できない情報ソースを避けるために,ドイツ語話者(新規名詞の複数形式の生成と評価)から新しいデータセットを収集する。 現代のニューラルモデルは依然としてマイノリティ階級の一般化に苦戦する可能性があると結論付けている。
• 参考スコア（独自算出の注目度）: 27.002788405625484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can artificial neural networks learn to represent inflectional morphology and generalize to new words as human speakers do? Kirov and Cotterell (2018) argue that the answer is yes: modern Encoder-Decoder (ED) architectures learn human-like behavior when inflecting English verbs, such as extending the regular past tense form -(e)d to novel words. However, their work does not address the criticism raised by Marcus et al. (1995): that neural models may learn to extend not the regular, but the most frequent class -- and thus fail on tasks like German number inflection, where infrequent suffixes like -s can still be productively generalized. To investigate this question, we first collect a new dataset from German speakers (production and ratings of plural forms for novel nouns) that is designed to avoid sources of information unavailable to the ED model. The speaker data show high variability, and two suffixes evince 'regular' behavior, appearing more often with phonologically atypical inputs. Encoder-decoder models do generalize the most frequently produced plural class, but do not show human-like variability or 'regular' extension of these other plural markers. We conclude that modern neural models may still struggle with minority-class generalization.
• Abstract（参考訳）: 人工ニューラルネットワークは、屈折形態を表すことを学び、人間の話者のように新しい言葉に一般化できるか? Kirov and Cotterell (2018) は、答えはイエスであると主張している: 現代のエンコーダ・デコーダ (ED) アーキテクチャは、通常の過去時制を新しい単語に拡張するなど、英語の動詞を屈折させるときに、人間のような振る舞いを学ぶ。 しかしながら、彼らの研究はMarcusら(1995年)による批判に対処していない: ニューラルモデルは通常のクラスではなく、最も頻繁なクラスを拡張することを学習し、したがって、非頻繁な接尾辞が生産的に一般化できるドイツの数字の屈折のようなタスクで失敗する。 この問題を調査するために,我々はまず,EDモデルでは利用できない情報ソースを避けるために,ドイツ語話者(新規名詞の複数形式の生成と評価)から新しいデータセットを収集する。 話者データは高いばらつきを示し、2つの接尾辞は「正規」な振る舞いを表わし、より頻繁に音韻的に非典型的な入力で現れる。 エンコーダ・デコーダモデルは、最も頻繁に生成される複数のクラスを一般化するが、他の複数のマーカーの人間の様相や「正規」拡張は示さない。 現代のニューラルモデルはまだマイノリティクラスの一般化に苦しむ可能性があると結論づける。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases [28.58785395946639]
  事前学習は、微調整後にタスクを実行する際に、階層的な構文的特徴に依存するように言語モデルを教えることができることを示す。 アーキテクチャの特徴(深さ、幅、パラメータ数)と、事前学習コーパスのジャンルとサイズに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-31T14:38:14Z)
• How do we get there? Evaluating transformer neural networks as cognitive models for English past tense inflection [0.0]
  私たちは、このタスクの振る舞いを調べるために、異なる設定のトランスフォーマーモデルセットをトレーニングします。 モデルの性能はタイプ周波数と比に大きく影響されるが、トークン周波数と比には影響しない。 変圧器モデルは動詞の規則性の抽象的なカテゴリについてある程度の学習レベルを示すが、その性能は人間のデータによく適合しない。
  論文  参考訳（メタデータ） (2022-10-17T15:13:35Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Computing Class Hierarchies from Classifiers [12.631679928202516]
  ニューラルネットワークからクラス階層を自動的に取得する新しいアルゴリズムを提案する。 我々のアルゴリズムは、よく知られたディープニューラルネットワークモデルに驚くほど優れた階層を生成する。
  論文  参考訳（メタデータ） (2021-12-02T13:01:04Z)
• Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning [0.0]
  形態素規則学習のモデルとしてトランスフォーマーを評価した。 英語、ドイツ語、ロシア語のRecurrent Neural Networks(RNN)と比較します。
  論文  参考訳（メタデータ） (2021-05-08T14:48:29Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。