論文の概要: Enhancing Sequence-to-Sequence Neural Lemmatization with External Resources

• arxiv url: http://arxiv.org/abs/2101.12056v1
• Date: Thu, 28 Jan 2021 15:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-01-31 23:07:38.900151
• Title: Enhancing Sequence-to-Sequence Neural Lemmatization with External Resources
• Title（参考訳）: 外部リソースを用いたシーケンシャル・トゥ・シーケンス・ニューラル・レムマティゼーションの強化
• Authors: Kirill Milintsevich and Kairit Sirts
• Abstract要約: 本稿では,外部レキシコンやルールベースシステムから抽出した補題を付加することで,セック2セックニューラルモデルを強化した新しい補題化手法を提案する。 トレーニング中、強化されたレムマタイザは、シーケンシャルデコーダを介してレムマを生成することと、実行中に供給された外部候補からのレムマ文字をコピーすることの両方を学ぶ。 Apertium morphological analysisrから抽出した候補で強化された補間器は,追加の補間情報を利用していないベースラインモデルと比較して統計的に有意な改善が得られた。
• 参考スコア（独自算出の注目度）: 0.6726255259929496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel hybrid approach to lemmatization that enhances the seq2seq neural model with additional lemmas extracted from an external lexicon or a rule-based system. During training, the enhanced lemmatizer learns both to generate lemmas via a sequential decoder and copy the lemma characters from the external candidates supplied during run-time. Our lemmatizer enhanced with candidates extracted from the Apertium morphological analyzer achieves statistically significant improvements compared to baseline models not utilizing additional lemma information, achieves an average accuracy of 97.25% on a set of 23 UD languages, which is 0.55% higher than obtained with the Stanford Stanza model on the same set of languages. We also compare with other methods of integrating external data into lemmatization and show that our enhanced system performs considerably better than a simple lexicon extension method based on the Stanza system, and it achieves complementary improvements w.r.t. the data augmentation method.
• Abstract（参考訳）: 本稿では,外部レキシコンやルールベースシステムから抽出した補題を用いて,seq2seqニューラルモデルを拡張した新たな補間手法を提案する。 トレーニング中、強化されたlemmatizerは、シーケンシャルデコーダを介して補題を生成し、実行時に供給される外部候補からの補題文字をコピーすることの両方を学ぶ。 Apertium morphological analysisr から抽出した候補で強化された補間器は、追加の補間情報を使用しないベースラインモデルと比較して統計的に有意な改善を達成し、同じ言語群におけるスタンフォード・スタンザモデルよりも0.55%高い23のUD言語に対して平均精度97.25%を達成する。 また、外部データを補間化に統合する他の手法と比較し、Stanzaシステムに基づく単純な辞書拡張手法よりも大幅に性能が向上し、補間的な改善を実現していることを示す。 データ増強法です

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Entropy-Based Decoding for Retrieval-Augmented Large Language Models [43.93281157539377]
  外部知識を抽出した大規模言語モデルの拡張は、生成した応答の事実的正確性を改善するのに有効であることが証明されている。 本稿では,この問題を緩和するために,エントロピーを考慮した新しい学習自由復号法を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:59:38Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Data Augmentation for Neural Machine Translation using Generative Language Model [1.5500145658862499]
  大規模並列コーパスの不足は、Neural Machine Translationの主要なボトルネックとなっている。 データ拡張(Data augmentation)は、新しいデータを集める代わりに合成データを生成することによって、データハングリーモデルの性能を向上させる技術である。 本稿では,ChatGPTなどの大規模言語モデルを活用した,プロンプトベースのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-07-26T02:12:58Z)
• External Language Model Integration for Factorized Neural Transducers [7.5969913968845155]
  外部言語モデルを用いた因子化ニューラルトランスデューサ(FNT)の適応法を提案する。 その結果, 各シナリオにおける語彙順応と, 1つのエンティティリッチシナリオにおける最大60%のWERRの加算ゲインで平均18%のWERRが得られた。
  論文  参考訳（メタデータ） (2023-05-26T23:30:21Z)
• Nearest Neighbor Zero-Shot Inference [68.56747574377215]
  kNN-Promptは、言語モデル(LM)を用いたゼロショット推論のためのk-nearest neighbor (kNN)検索拡張手法である。 ファジィ動詞化器は、各分類ラベルを自然言語トークンのセットに自動的に関連付けることで、下流タスクのスパースkNN分布を利用する。 実験により,kNN-Promptはドメイン適応に有効であり,さらに,kNN検索に使用するモデルのサイズに応じて,検索のメリットが増加することが示された。
  論文  参考訳（メタデータ） (2022-05-27T07:00:59Z)
• Investigating Lexical Replacements for Arabic-English Code-Switched Data Augmentation [32.885722714728765]
  CS (code-switching) NLPシステムにおけるデータ拡張手法について検討する。 単語整列並列コーパスを用いて語彙置換を行う。 これらのアプローチを辞書ベースの置換と比較する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:36Z)
• Exploiting Language Model for Efficient Linguistic Steganalysis: An Empirical Study [23.311007481830647]
  言語ステガナリシスを効果的に行うための2つの方法を提案する。 1つはRNNに基づく言語モデルの事前トレーニングであり、もう1つはシーケンスオートエンコーダの事前トレーニングである。
  論文  参考訳（メタデータ） (2021-07-26T12:37:18Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。