論文の概要: Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning

• arxiv url: http://arxiv.org/abs/2105.03710v1
• Date: Sat, 8 May 2021 14:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 12:18:54.446899
• Title: Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning
• Title（参考訳）: ギャップを抜ける: 形態的ルール学習のモデルとしてのニューラルアーキテクチャ
• Authors: Deniz Beser
• Abstract要約: 形態素規則学習のモデルとしてトランスフォーマーを評価した。 英語、ドイツ語、ロシア語のRecurrent Neural Networks(RNN)と比較します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in neural architectures have revived the problem of morphological rule learning. We evaluate the Transformer as a model of morphological rule learning and compare it with Recurrent Neural Networks (RNN) on English, German, and Russian. We bring to the fore a hitherto overlooked problem, the morphological gaps, where the expected inflection of a word is missing. For example, 63 Russian verbs lack a first-person-singular present form such that one cannot comfortably say "*o\v{s}\v{c}u\v{s}\v{c}u" ("I feel"). Even English has gaps, such as the past participle of "stride": the function of morphological inflection can be partial. Both neural architectures produce inflections that ought to be missing. Analyses reveal that Transformers recapitulate the statistical distribution of inflections in the training data, similar to RNNs. Models' success on English and German is driven by the fact that rules in these languages can be identified with the majority forms, which is not universal.
• Abstract（参考訳）: ニューラル・アーキテクチャの最近の進歩は、形態的規則学習の問題を復活させた。 形態素規則学習のモデルとしてTransformerを評価し,英語,ドイツ語,ロシア語のRecurrent Neural Networks(RNN)と比較した。 我々は,単語の語句の変形が期待できないような形態的ギャップという,見過ごされがちな問題に直面する。 例えば、63のロシア語の動詞は、"*o\v{s}\v{c}u\v{s}\v{c}u" ("i feel") と快適に言えないような一対一の現在形を欠いている。 英語にも「ストライド」の過去分詞のようなギャップがあり、形態的インフレクションの関数は部分的である。 両方のニューラルアーキテクチャは、欠落すべき反射を生み出す。 解析により、Transformerはトレーニングデータ中の反射の統計的分布を再カプセル化することが明らかになった。 英語とドイツ語におけるモデルの成功は、これらの言語の規則が大多数の形式と同一視できるという事実によって引き起こされる。

関連論文リスト

• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Why can neural language models solve next-word prediction? A mathematical perspective [53.807657273043446]
  本研究では,英語文の実例をモデル化するための形式言語群について検討する。 我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• How do we get there? Evaluating transformer neural networks as cognitive models for English past tense inflection [0.0]
  私たちは、このタスクの振る舞いを調べるために、異なる設定のトランスフォーマーモデルセットをトレーニングします。 モデルの性能はタイプ周波数と比に大きく影響されるが、トークン周波数と比には影響しない。 変圧器モデルは動詞の規則性の抽象的なカテゴリについてある程度の学習レベルを示すが、その性能は人間のデータによく適合しない。
  論文  参考訳（メタデータ） (2022-10-17T15:13:35Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Linguistically inspired morphological inflection with a sequence to sequence model [19.892441884896893]
  我々の研究課題は、ニューラルネットワークが反射生成のための屈折形態を学習できるかどうかである。 我々は、この仮説をテストするために、屈折コーパスと単一の層Seq2seqモデルを使用している。 キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。
  論文  参考訳（メタデータ） (2020-09-04T08:58:42Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Inflecting when there's no majority: Limitations of encoder-decoder neural networks as cognitive models for German plurals [27.002788405625484]
  人工ニューラルネットワークは、屈折形態を表すことを学習し、人間の話者のように新しい言葉に一般化できるか? EDモデルでは利用できない情報ソースを避けるために,ドイツ語話者(新規名詞の複数形式の生成と評価)から新しいデータセットを収集する。 現代のニューラルモデルは依然としてマイノリティ階級の一般化に苦戦する可能性があると結論付けている。
  論文  参考訳（メタデータ） (2020-05-18T15:58:28Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。