Fugu-MT 論文翻訳(概要): Cross-lingual Dependency Parsing as Domain Adaptation

論文の概要: Cross-lingual Dependency Parsing as Domain Adaptation

arxiv url: http://arxiv.org/abs/2012.13163v1
Date: Thu, 24 Dec 2020 08:14:36 GMT
ステータス: 処理完了
システム内更新日: 2021-04-25 08:20:55.334616
Title: Cross-lingual Dependency Parsing as Domain Adaptation
Title（参考訳）: ドメイン適応としての言語間依存パーシング
Authors: Kailai Sun, Zuchao Li, Hai Zhao
Abstract要約: 言語間転送学習はドメイン内学習と同じくらい不可欠である。我々は、監視なしで普遍的な特徴を抽出する事前学習タスクの能力を利用する。従来のセルフトレーニングと2つの事前トレーニングを組み合わせる。
参考スコア（独自算出の注目度）: 48.69930912510414
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In natural language processing (NLP), cross-lingual transfer learning is as essential as in-domain learning due to the unavailability of annotated resources for low-resource languages. In this paper, we use the ability of a pre-training task that extracts universal features without supervision. We add two pre-training tasks as the auxiliary task into dependency parsing as multi-tasking, which improves the performance of the model in both in-domain and cross-lingual aspects. Moreover, inspired by the usefulness of self-training in cross-domain learning, we combine the traditional self-training and the two pre-training tasks. In this way, we can continuously extract universal features not only in training corpus but also in extra unannotated data and gain further improvement.
Abstract（参考訳）: 自然言語処理(NLP)では、低リソース言語のための注釈付きリソースが利用できないため、言語間変換学習はドメイン内学習と同じくらい不可欠である。本稿では,教師なしの普遍的な特徴を抽出する事前学習タスクの能力を利用する。マルチタスクとして依存性解析に2つの事前学習タスクを追加し、ドメイン内および言語間両方の面でモデルの性能を向上させる。さらに,クロスドメイン学習における自己学習の有用性に着想を得て,従来の自己学習と2つの事前学習を組み合わせる。このように、トレーニングコーパスだけでなく、追加の無注釈データにおいても、普遍的な特徴を継続的に抽出し、さらなる改善を得ることができる。

関連論文リスト

UniPSDA: Unsupervised Pseudo Semantic Data Augmentation for Zero-Shot Cross-Lingual Natural Language Understanding [31.272603877215733]
言語間の表現学習は、リソースに富んだデータからリソースに密着したデータへ知識を伝達し、異なる言語の意味理解能力を改善する。言語間自然言語理解のためのunsupervised Pseudo Semantic Data Augmentation (UniPSDA) 機構を提案する。
論文参考訳（メタデータ） (2024-06-24T07:27:01Z)
AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness [16.896143197472114]
本稿では,アフリカとアジアの言語に対するセマンティックテキスト関連性(SemEval-2024 Task 1: Semantic Textual Relatedness)について述べる。本稿では,限られたトレーニングデータの低リソース化問題に対処するために,機械翻訳によるデータ拡張を提案する。我々のシステムは、サブタスクA(教師付き学習)とサブタスクC(言語間の移動)の両方において、すべてのチームの中で最善を尽くします。
論文参考訳（メタデータ） (2024-04-01T21:21:15Z)
Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文参考訳（メタデータ） (2023-10-25T09:09:55Z)
Effective Transfer Learning for Low-Resource Natural Language Understanding [15.752309656576129]
低リソース問題に対処するために、言語横断とドメイン横断の手法の開発に注力する。まず、タスク関連キーワードに着目して、モデルの言語間能力を改善することを提案する。第2に,言語間適応のための秩序再現型モデリング手法を提案する。第3に、クロスドメイン適応のための事前学習において、異なるレベルのドメイン関連コーパスと追加データマスキングを活用することを提案する。
論文参考訳（メタデータ） (2022-08-19T06:59:00Z)
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文参考訳（メタデータ） (2022-04-16T16:08:38Z)
Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
論文参考訳（メタデータ） (2021-09-23T03:47:44Z)
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文参考訳（メタデータ） (2020-10-30T03:41:38Z)
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2020-09-30T08:56:53Z)
Mutlitask Learning for Cross-Lingual Transfer of Semantic Dependencies [21.503766432869437]
我々は,意味的アノテーションのない言語に対して,広範囲なセマンティック依存関係を開発する。我々はアノテーション投影法と組み合わせたマルチタスク学習フレームワークを利用する。ドメイン内のSemEvalデータにおいて、最良マルチタスクモデルにより、単一タスクベースライン上のラベル付きF1スコアが1.8向上することを示す。
論文参考訳（メタデータ） (2020-04-30T17:09:51Z)
Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
論文参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。