論文の概要: Exploring the State-of-the-Art Language Modeling Methods and Data
Augmentation Techniques for Multilingual Clause-Level Morphology
- arxiv url: http://arxiv.org/abs/2211.01736v1
- Date: Thu, 3 Nov 2022 11:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 11:55:55.971467
- Title: Exploring the State-of-the-Art Language Modeling Methods and Data
Augmentation Techniques for Multilingual Clause-Level Morphology
- Title（参考訳）: 多言語節レベルの形態学のための最先端言語モデリング手法とデータ拡張手法の検討
- Authors: Emre Can Acikgoz, Tilek Chubakov, M\"uge Kural, G\"ozde G\"ul
\c{S}ahin, Deniz Yuret
- Abstract要約: 共有タスクの3つの部分 – 反射,再帰,分析 – について検討する。
データ拡張と組み合わせたトランスフォーマーモデルと、モルフォロジー解析のための最先端の言語モデリング技術を利用する2つのアプローチを主に検討する。
提案手法は,3つのタスクのそれぞれにおいて第1位となり,mT5ベースラインよりも89%,リフレクション80%,分析12%に優れていた。
- 参考スコア（独自算出の注目度）: 3.8498574327875947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes the KUIS-AI NLP team's submission for the 1$^{st}$
Shared Task on Multilingual Clause-level Morphology (MRL2022). We present our
work on all three parts of the shared task: inflection, reinflection, and
analysis. We mainly explore two approaches: Transformer models in combination
with data augmentation, and exploiting the state-of-the-art language modeling
techniques for morphological analysis. Data augmentation leads a remarkable
performance improvement for most of the languages in the inflection task.
Prefix-tuning on pretrained mGPT model helps us to adapt reinflection and
analysis tasks in a low-data setting. Additionally, we used pipeline
architectures using publicly available open source lemmatization tools and
monolingual BERT-based morphological feature classifiers for reinflection and
analysis tasks, respectively. While Transformer architectures with data
augmentation and pipeline architectures achieved the best results for
inflection and reinflection tasks, pipelines and prefix-tuning on mGPT received
the highest results for the analysis task. Our methods achieved first place in
each of the three tasks and outperforms mT5-baseline with ~89\% for inflection,
~80\% for reinflection and ~12\% for analysis. Our code
https://github.com/emrecanacikgoz/mrl2022 is publicly available.
- Abstract（参考訳）: 本稿では,KUIS-AI NLPチームの1$^{st}$ Shared Task on Multilingual Clause-level Morphology (MRL2022)について述べる。
我々は,共有タスクの3つの部分すべてについて,インフレクション,再帰,分析について紹介する。
データ拡張と組み合わせたトランスフォーマーモデルと、形態解析のための最先端言語モデリング技術を利用する2つのアプローチを主に検討する。
データ拡張は、インフレクションタスクにおけるほとんどの言語のパフォーマンスを著しく向上させる。
事前訓練されたmGPTモデルの修正調整は、低データ設定で回帰および解析タスクを適応するのに役立ちます。
さらに,公開のオープンソース補間ツールと単言語bertに基づく形態素特徴分類器を用いたパイプラインアーキテクチャを用いて,再帰および解析タスクを行った。
データ拡張とパイプラインアーキテクチャを備えたトランスフォーマーアーキテクチャは、インフレクションとリフレクションタスクで最高の結果を得たが、mgptのパイプラインとプレフィックスチューニングは、分析タスクで最高の結果を得た。
本手法は, 3つのタスクのそれぞれにおいて1位となり, mT5-baseline は 89 %, reflex は 80 %, analysis は 12 % に優れていた。
私たちのコード https://github.com/emrecanacikgoz/mrl2022 が公開されている。
関連論文リスト
- Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Mixture-of-Linguistic-Experts Adapters for Improving and Interpreting
Pre-trained Language Models [22.977852629450346]
本稿では,言語モデルに言語構造を注入することで,2つの人気のある研究領域を組み合わせる手法を提案する。
本研究では,異なる言語構造をコードする並列アダプタモジュールを,Mixture-of-Linguistic-Expertsアーキテクチャを用いて組み合わせる。
実験の結果,本手法はパラメータ数に比較して,最先端のPEFT法より優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-24T23:29:06Z) - A deep Natural Language Inference predictor without language-specific
training data [44.26507854087991]
本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。
我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。
このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
論文 参考訳（メタデータ） (2023-09-06T10:20:59Z) - Extensive Evaluation of Transformer-based Architectures for Adverse Drug
Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。
我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。
分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文 参考訳（メタデータ） (2023-06-08T15:25:24Z) - Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。
我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。
OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文 参考訳（メタデータ） (2023-05-04T12:21:52Z) - Multi-Scales Data Augmentation Approach In Natural Language Inference
For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。
データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。
本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
論文 参考訳（メタデータ） (2022-12-16T23:37:44Z) - Visualizing the Relationship Between Encoded Linguistic Information and
Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。
我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。
実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文 参考訳（メタデータ） (2022-03-29T19:03:10Z) - Incorporating Linguistic Knowledge for Abstractive Multi-document
Summarization [20.572283625521784]
ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。
依存関係情報を言語誘導型注意機構に処理する。
言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
論文 参考訳（メタデータ） (2021-09-23T08:13:35Z) - Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。
具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。
実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2021-09-16T07:58:33Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z) - Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。
我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。
実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
論文 参考訳（メタデータ） (2020-04-07T19:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。