論文の概要: Cross-lingual Dependency Parsing as Domain Adaptation
- arxiv url: http://arxiv.org/abs/2012.13163v1
- Date: Thu, 24 Dec 2020 08:14:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:20:55.334616
- Title: Cross-lingual Dependency Parsing as Domain Adaptation
- Title(参考訳): ドメイン適応としての言語間依存パーシング
- Authors: Kailai Sun, Zuchao Li, Hai Zhao
- Abstract要約: 言語間転送学習はドメイン内学習と同じくらい不可欠である。
我々は、監視なしで普遍的な特徴を抽出する事前学習タスクの能力を利用する。
従来のセルフトレーニングと2つの事前トレーニングを組み合わせる。
- 参考スコア(独自算出の注目度): 48.69930912510414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In natural language processing (NLP), cross-lingual transfer learning is as
essential as in-domain learning due to the unavailability of annotated
resources for low-resource languages. In this paper, we use the ability of a
pre-training task that extracts universal features without supervision. We add
two pre-training tasks as the auxiliary task into dependency parsing as
multi-tasking, which improves the performance of the model in both in-domain
and cross-lingual aspects. Moreover, inspired by the usefulness of
self-training in cross-domain learning, we combine the traditional
self-training and the two pre-training tasks. In this way, we can continuously
extract universal features not only in training corpus but also in extra
unannotated data and gain further improvement.
- Abstract(参考訳): 自然言語処理(NLP)では、低リソース言語のための注釈付きリソースが利用できないため、言語間変換学習はドメイン内学習と同じくらい不可欠である。
本稿では,教師なしの普遍的な特徴を抽出する事前学習タスクの能力を利用する。
マルチタスクとして依存性解析に2つの事前学習タスクを追加し、ドメイン内および言語間両方の面でモデルの性能を向上させる。
さらに,クロスドメイン学習における自己学習の有用性に着想を得て,従来の自己学習と2つの事前学習を組み合わせる。
このように、トレーニングコーパスだけでなく、追加の無注釈データにおいても、普遍的な特徴を継続的に抽出し、さらなる改善を得ることができる。
関連論文リスト
- Subspace Chronicles: How Linguistic Information Emerges, Shifts and
Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。
タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。
この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文 参考訳(メタデータ) (2023-10-25T09:09:55Z) - FonMTL: Towards Multitask Learning for the Fon Language [1.9370453715137865]
本稿では,Fon言語のための自然言語処理におけるモデル機能向上のための,マルチタスク学習のための最初の爆発的アプローチを提案する。
我々は2つの言語モデルヘッドをエンコーダとして利用して入力の共有表現を構築し,各タスクに対して線形層ブロックを用いて分類する。
Fon の NER および POS タスクの結果は,複数言語で事前訓練された言語モデルに対して,単一タスクで微調整された言語モデルと比較して,競争力(あるいはより優れた)性能を示す。
論文 参考訳(メタデータ) (2023-08-28T03:26:21Z) - Multilingual Entity and Relation Extraction from Unified to
Language-specific Training [29.778332361215636]
エンティティと関係抽出タスクの既存のアプローチは、主に英語のコーパスに焦点を当て、他の言語を無視している。
言語干渉を軽減するために,2段階の多言語学習手法と,Multilingual Entity and Relation extract framework (mERE) と呼ばれるジョイントモデルを提案する。
本手法はモノリンガル法と多言語ベースライン法の両方に優れる。
論文 参考訳(メタデータ) (2023-01-11T12:26:53Z) - Effective Transfer Learning for Low-Resource Natural Language
Understanding [15.752309656576129]
低リソース問題に対処するために、言語横断とドメイン横断の手法の開発に注力する。
まず、タスク関連キーワードに着目して、モデルの言語間能力を改善することを提案する。
第2に,言語間適応のための秩序再現型モデリング手法を提案する。
第3に、クロスドメイン適応のための事前学習において、異なるレベルのドメイン関連コーパスと追加データマスキングを活用することを提案する。
論文 参考訳(メタデータ) (2022-08-19T06:59:00Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳(メタデータ) (2022-04-16T16:08:38Z) - Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。
本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
論文 参考訳(メタデータ) (2021-09-23T03:47:44Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳(メタデータ) (2020-10-30T03:41:38Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-30T08:56:53Z) - Mutlitask Learning for Cross-Lingual Transfer of Semantic Dependencies [21.503766432869437]
我々は,意味的アノテーションのない言語に対して,広範囲なセマンティック依存関係を開発する。
我々はアノテーション投影法と組み合わせたマルチタスク学習フレームワークを利用する。
ドメイン内のSemEvalデータにおいて、最良マルチタスクモデルにより、単一タスクベースライン上のラベル付きF1スコアが1.8向上することを示す。
論文 参考訳(メタデータ) (2020-04-30T17:09:51Z) - Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。
提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。
また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
論文 参考訳(メタデータ) (2019-12-28T16:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。