論文の概要: Language Chameleon: Transformation analysis between languages using
Cross-lingual Post-training based on Pre-trained language models
- arxiv url: http://arxiv.org/abs/2209.06422v1
- Date: Wed, 14 Sep 2022 05:20:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-15 13:15:29.317599
- Title: Language Chameleon: Transformation analysis between languages using
Cross-lingual Post-training based on Pre-trained language models
- Title(参考訳): language chameleon: 事前学習された言語モデルに基づく言語間ポストトレーニングによる言語間の変換解析
- Authors: Suhyune Son, Chanjun Park, Jungseob Lee, Midan Shim, Chanhee Lee,
Yoonna Jang, Jaehyung Seo, Heuiseok Lim
- Abstract要約: 本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。
結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
- 参考スコア(独自算出の注目度): 4.731313022026271
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As pre-trained language models become more resource-demanding, the inequality
between resource-rich languages such as English and resource-scarce languages
is worsening. This can be attributed to the fact that the amount of available
training data in each language follows the power-law distribution, and most of
the languages belong to the long tail of the distribution. Some research areas
attempt to mitigate this problem. For example, in cross-lingual transfer
learning and multilingual training, the goal is to benefit long-tail languages
via the knowledge acquired from resource-rich languages. Although being
successful, existing work has mainly focused on experimenting on as many
languages as possible. As a result, targeted in-depth analysis is mostly
absent. In this study, we focus on a single low-resource language and perform
extensive evaluation and probing experiments using cross-lingual post-training
(XPT). To make the transfer scenario challenging, we choose Korean as the
target language, as it is a language isolate and thus shares almost no typology
with English. Results show that XPT not only outperforms or performs on par
with monolingual models trained with orders of magnitudes more data but also is
highly efficient in the transfer process.
- Abstract(参考訳): 事前学習された言語モデルがよりリソース需要を増すにつれ、英語や資源不足言語のようなリソースに富む言語間の不平等は悪化している。
これは、各言語で利用可能なトレーニングデータの量は、パワーロー分布に従っており、ほとんどの言語は、分布のロングテールに属するという事実に起因することができる。
この問題を緩和しようとする研究領域もある。
例えば、言語間移動学習や多言語学習では、リソース豊富な言語から得られる知識を通じて長期言語に利益をもたらすことが目標である。
成功したとはいえ、既存の作業は主にできるだけ多くの言語を試すことに集中しています。
その結果、標的とした深度分析はほとんど欠落している。
本研究では,単一低リソース言語に着目し,言語間後学習(XPT)を用いた広範囲な評価と探索実験を行う。
移行シナリオを困難にするため,韓国語を対象言語として選択する。
その結果、xptは1桁以上のデータで訓練された単言語モデルに匹敵する性能を持つだけでなく、転送プロセスにおいて非常に効率的であることが判明した。
関連論文リスト
- Zero-shot Sentiment Analysis in Low-Resource Languages Using a
Multilingual Sentiment Lexicon [78.12363425794214]
私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。
文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
論文 参考訳(メタデータ) (2024-02-03T10:41:05Z) - xCoT: Cross-lingual Instruction Tuning for Cross-lingual
Chain-of-Thought Reasoning [36.34986831526529]
CoT(Chain-of-Thought)は、大規模言語モデルにおける推論を誘発する強力なテクニックとして登場した。
本稿では,ハイソース言語から低リソース言語へ知識を伝達するための言語間命令微調整フレームワーク(xCOT)を提案する。
論文 参考訳(メタデータ) (2024-01-13T10:53:53Z) - GradSim: Gradient-Based Language Grouping for Effective Multilingual
Training [13.730907708289331]
勾配類似度に基づく言語グループ化手法GradSimを提案する。
3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。
言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
論文 参考訳(メタデータ) (2023-10-23T18:13:37Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Cross-Lingual Transfer Learning for Phrase Break Prediction with
Multilingual Language Model [13.730152819942445]
言語間変換学習は低リソース言語の性能向上に特に有効である。
このことは、リソース不足言語におけるTSフロントエンドの開発には、言語間転送が安価で効果的であることを示している。
論文 参考訳(メタデータ) (2023-06-05T04:10:04Z) - Detecting Languages Unintelligible to Multilingual Models through Local
Structure Probes [15.870989191524094]
我々は、言語間モデルでよく理解されていない言語を検出するために、未理解のテキストのみを必要とする一般的なアプローチを開発する。
我々のアプローチは、もしモデルの理解が言語のテキストに対する摂動に無関心であるなら、その言語について限られた理解を持つ可能性が高いという仮説から導かれる。
論文 参考訳(メタデータ) (2022-11-09T16:45:16Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-05-24T03:35:00Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z) - When Being Unseen from mBERT is just the Beginning: Handling New
Languages With Multilingual Language Models [2.457872341625575]
大量の生データに基づく事前学習言語モデルに基づく伝達学習は,NLPの最先端性能に到達するための新しい規範となっている。
このようなモデルは、目に見えない言語に対して複数の方法で振る舞うことを示す。
論文 参考訳(メタデータ) (2020-10-24T10:15:03Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。