論文の概要: A Three Step Training Approach with Data Augmentation for Morphological
Inflection
- arxiv url: http://arxiv.org/abs/2109.07006v1
- Date: Tue, 14 Sep 2021 23:03:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 04:13:48.096531
- Title: A Three Step Training Approach with Data Augmentation for Morphological
Inflection
- Title(参考訳): モーフィックインフレクションのためのデータ拡張を用いた3段階トレーニング手法
- Authors: Gabor Szolnok, Botond Barta, Dorina Lakatos, Judit Acs
- Abstract要約: 本稿では,SIGMORPHON 2021 Task 0 Part 1のBME提案について述べる。
LSTMエンコーダ-デコーダモデルを使用し、3段階のトレーニングをまずすべての言語で行い、その後、各言語ファミリで微調整を行い、最終的に個々の言語で微調整する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the BME submission for the SIGMORPHON 2021 Task 0 Part 1,
Generalization Across Typologically Diverse Languages shared task. We use an
LSTM encoder-decoder model with three step training that is first trained on
all languages, then fine-tuned on each language families and finally finetuned
on individual languages. We use a different type of data augmentation technique
in the first two steps. Our system outperformed the only other submission.
Although it remains worse than the Transformer baseline released by the
organizers, our model is simpler and our data augmentation techniques are
easily applicable to new languages. We perform ablation studies and show that
the augmentation techniques and the three training steps often help but
sometimes have a negative effect.
- Abstract(参考訳): 本稿では,SIGMORPHON 2021 Task 0 Part 1のBME提案について述べる。
LSTMエンコーダ-デコーダモデルを使用し、3ステップのトレーニングをまずすべての言語で行い、その後各言語ファミリで微調整を行い、最後に個々の言語で微調整する。
最初の2ステップでは、異なるタイプのデータ拡張技術を使用します。
我々のシステムは、他の唯一の提案を上回った。
オーガナイザがリリースしたTransformerベースラインよりも悪いままですが、私たちのモデルはシンプルで、データ拡張技術は新しい言語に容易に適用できます。
我々はアブレーション研究を行い,強化技術と3つの訓練ステップがしばしば役に立つが,時には否定的な効果があることを示した。
関連論文リスト
- Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳(メタデータ) (2023-02-18T09:26:35Z) - Exploring the State-of-the-Art Language Modeling Methods and Data
Augmentation Techniques for Multilingual Clause-Level Morphology [3.8498574327875947]
共有タスクの3つの部分 – 反射,再帰,分析 – について検討する。
データ拡張と組み合わせたトランスフォーマーモデルと、モルフォロジー解析のための最先端の言語モデリング技術を利用する2つのアプローチを主に検討する。
提案手法は,3つのタスクのそれぞれにおいて第1位となり,mT5ベースラインよりも89%,リフレクション80%,分析12%に優れていた。
論文 参考訳(メタデータ) (2022-11-03T11:53:39Z) - Improving Temporal Generalization of Pre-trained Language Models with
Lexical Semantic Change [28.106524698188675]
近年の研究では、大規模なニューラルネットワークモデルが時間的一般化能力の低下に悩まされていることが明らかになっている。
本稿では,収束した言語モデルを学習後処理するための,単純かつ効果的な語彙レベルのマスキング手法を提案する。
論文 参考訳(メタデータ) (2022-10-31T08:12:41Z) - Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。
単言語,多言語,言語横断の3種類の実験を行った。
本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
論文 参考訳(メタデータ) (2022-04-19T16:23:07Z) - Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual
Retrieval [66.69799641522133]
最先端のニューラルランカーは、お腹が空いていることで悪名高い。
現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。
本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
論文 参考訳(メタデータ) (2022-04-05T15:44:27Z) - Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。
すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
論文 参考訳(メタデータ) (2021-10-09T07:00:38Z) - Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。
具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。
実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2021-09-16T07:58:33Z) - Everything Is All It Takes: A Multipronged Strategy for Zero-Shot
Cross-Lingual Information Extraction [42.138153925505435]
我々は、新しいアプローチと古いアプローチの組み合わせが、特に言語間の戦略よりも優れたパフォーマンスをもたらすことを示した。
最初の例としては、英語からアラビア語のIEを使用し、イベント抽出、名前付きエンティティ認識、パート・オブ・音声タグ付け、依存性解析などにおいて、強力なパフォーマンスを示す。
すべてのタスクにおいて、ひとつのテクニックセットが最善を尽くすことはないので、ゼロショットトレーニングを改善するために、この作業で記述されたテクニックのさまざまな構成を検討することを、実践者たちに勧めます。
論文 参考訳(メタデータ) (2021-09-14T16:21:14Z) - From Universal Language Model to Downstream Task: Improving
RoBERTa-Based Vietnamese Hate Speech Detection [8.602181445598776]
汎用のRoBERTa言語モデルを特定のテキスト分類タスクであるベトナムのヘイト音声検出に適応させるパイプラインを提案する。
実験の結果,提案パイプラインの性能が著しく向上し,0.7221 f1のベトナム人ヘイトスピーチ検出キャンペーンが達成された。
論文 参考訳(メタデータ) (2021-02-24T09:30:55Z) - Transfer Learning for British Sign Language Modelling [0.0]
手話を含む少数言語の研究は、データ不足によって妨げられている。
これは、ある言語で開発されたモデルを第2言語でモデルを構築するための出発点として再利用するトランスファーラーニング手法の開発につながった。
本稿では,英国手話の言語モデリングにおける微調整と層置換の2つの伝達学習手法について検討する。
論文 参考訳(メタデータ) (2020-06-03T10:13:29Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳(メタデータ) (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。