論文の概要: Linguistically inspired morphological inflection with a sequence to sequence model

• arxiv url: http://arxiv.org/abs/2009.02073v1
• Date: Fri, 4 Sep 2020 08:58:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 01:59:15.945945
• Title: Linguistically inspired morphological inflection with a sequence to sequence model
• Title（参考訳）: シークエンスからシーケンスモデルへの言語的インスパイア形態素変換
• Authors: Eleni Metheniti, Guenter Neumann, Josef van Genabith
• Abstract要約: 我々の研究課題は、ニューラルネットワークが反射生成のための屈折形態を学習できるかどうかである。 我々は、この仮説をテストするために、屈折コーパスと単一の層Seq2seqモデルを使用している。 キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。
• 参考スコア（独自算出の注目度）: 19.892441884896893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inflection is an essential part of every human language's morphology, yet little effort has been made to unify linguistic theory and computational methods in recent years. Methods of string manipulation are used to infer inflectional changes; our research question is whether a neural network would be capable of learning inflectional morphemes for inflection production in a similar way to a human in early stages of language acquisition. We are using an inflectional corpus (Metheniti and Neumann, 2020) and a single layer seq2seq model to test this hypothesis, in which the inflectional affixes are learned and predicted as a block and the word stem is modelled as a character sequence to account for infixation. Our character-morpheme-based model creates inflection by predicting the stem character-to-character and the inflectional affixes as character blocks. We conducted three experiments on creating an inflected form of a word given the lemma and a set of input and target features, comparing our architecture to a mainstream character-based model with the same hyperparameters, training and test sets. Overall for 17 languages, we noticed small improvements on inflecting known lemmas (+0.68%) but steadily better performance of our model in predicting inflected forms of unknown words (+3.7%) and small improvements on predicting in a low-resource scenario (+1.09%)
• Abstract（参考訳）: 屈折はすべての人間の言語の形態において不可欠な部分であるが、近年では言語理論と計算手法を統合する努力はほとんど行われていない。 我々の研究課題は、ニューラルネットワークが、言語獲得の初期段階において、人間と同じような方法で、帰納的生成のための帰納的形態素を学習できるかどうかである。 我々は,この仮説を検証するために,インフレクションコーパス(metheniti and neumann, 2020)と単一層seq2seqモデルを用いて,インフレクションの接尾辞をブロックとして学習し予測し,単語stemを固定化を考慮した文字列としてモデル化する。 キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。 我々は,単語の屈折形と入力と対象特徴のセットを3つの実験を行い,我々のアーキテクチャを,同じハイパーパラメーター,トレーニング,テストセットを持つメインストリームの文字ベースモデルと比較した。 全体として17の言語について,既知の補題(+0.68%),未知語(+3.7%),低リソースシナリオでの予測(+1.09%)において小さな改善点(+1.09%)に気付きました。

関連論文リスト

• Reverse-Engineering the Reader [43.26660964074272]
  本稿では,線形回帰器のパラメータを暗黙的に最適化するために,言語モデルを微調整する新しいアライメント手法を提案する。 単語をテストケースとして使用し、複数のモデルサイズとデータセットにわたる手法を評価する。 ダウンストリームNLPタスクにおける心理測定パワーとモデルの性能の逆関係と、ホールドアウトテストデータにおけるその難易度を見出した。
  論文  参考訳（メタデータ） (2024-10-16T23:05:01Z)
• On the Proper Treatment of Tokenization in Psycholinguistics [53.960910019072436]
  論文は、トークンレベルの言語モデルは、精神言語学研究で使用される前に、文字レベルの言語モデルにマージ化されるべきであると主張している。 興味領域自体のサブプライムよりも心理学的予測が優れている様々な焦点領域を見いだす。
  論文  参考訳（メタデータ） (2024-10-03T17:18:03Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• Morphological Inflection with Phonological Features [7.245355976804435]
  本研究は,形態素モデルがサブキャラクタの音韻的特徴にアクセスできる様々な方法で得られる性能への影響について検討する。 我々は、浅いグラフ-音素マッピングを持つ言語に対する言語固有の文法を用いて、標準グラフデータから音素データを抽出する。
  論文  参考訳（メタデータ） (2023-06-21T21:34:39Z)
• Probing for Incremental Parse States in Autoregressive Language Models [9.166953511173903]
  自己回帰型ニューラルネットワークモデルからの次の単語予測は、構文に対する顕著な感度を示す。 この研究は、漸進的な構文構造の暗黙的な表現を維持する学習能力の結果として、この振る舞いが生じる範囲を評価する。
  論文  参考訳（メタデータ） (2022-11-17T18:15:31Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。