論文の概要: Effects of Language Relatedness for Cross-lingual Transfer Learning in
Character-Based Language Models
- arxiv url: http://arxiv.org/abs/2007.11648v1
- Date: Wed, 22 Jul 2020 19:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 22:37:39.688931
- Title: Effects of Language Relatedness for Cross-lingual Transfer Learning in
Character-Based Language Models
- Title（参考訳）: キャラクタベース言語モデルにおける言語関連性が言語間伝達学習に及ぼす影響
- Authors: Mittul Singh, Peter Smit, Sami Virpioja, Mikko Kurimo
- Abstract要約: 低リソースのシナリオでは、キャラクタとマルチキャラクタのNNLMはデータの分散に悩まされる。
低音源自動音声認識に適用した文字NNLMの言語間変換を提案する。
我々は,NNLMの言語間事前学習において,ソース言語の関連性が重要な役割を担っていることを観察した。
- 参考スコア（独自算出の注目度）: 17.492336084190658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Character-based Neural Network Language Models (NNLM) have the advantage of
smaller vocabulary and thus faster training times in comparison to NNLMs based
on multi-character units. However, in low-resource scenarios, both the
character and multi-character NNLMs suffer from data sparsity. In such
scenarios, cross-lingual transfer has improved multi-character NNLM performance
by allowing information transfer from a source to the target language. In the
same vein, we propose to use cross-lingual transfer for character NNLMs applied
to low-resource Automatic Speech Recognition (ASR). However, applying
cross-lingual transfer to character NNLMs is not as straightforward. We observe
that relatedness of the source language plays an important role in
cross-lingual pretraining of character NNLMs. We evaluate this aspect on ASR
tasks for two target languages: Finnish (with English and Estonian as source)
and Swedish (with Danish, Norwegian, and English as source). Prior work has
observed no difference between using the related or unrelated language for
multi-character NNLMs. We, however, show that for character-based NNLMs, only
pretraining with a related language improves the ASR performance, and using an
unrelated language may deteriorate it. We also observe that the benefits are
larger when there is much lesser target data than source data.
- Abstract（参考訳）: 文字ベースニューラルネットワークモデル(NNLM)は,複数文字単位に基づくNNLMと比較して,語彙が小さく,訓練時間も速いという利点がある。
しかし、低リソースのシナリオでは、キャラクタとマルチキャラクタNNLMの両方がデータの分散に悩まされる。
このようなシナリオでは、ソースからターゲット言語への情報転送を可能にすることで、マルチ文字NNLMの性能が向上した。
そこで本研究では,低リソース自動音声認識(asr)に適用される文字nnlmの言語間変換について提案する。
しかし、文字NNLMへの言語間移動の適用はそれほど簡単ではない。
NNLMの言語間事前学習において,ソース言語の関連性は重要な役割を果たす。
フィンランド語(英語とエストニア語をソースとする)とスウェーデン語(デンマーク語、ノルウェー語、英語をソースとする)である。
従来の研究では、マルチ文字NNLMの関連言語と非関連言語の違いはみられなかった。
しかし、文字ベースのNNLMでは、関連する言語で事前学習するだけで、ASRの性能が向上し、非関連言語の使用が劣化する可能性があることを示す。
また、ソースデータよりもターゲットデータが少ない場合、メリットが大きいことも確認しています。
関連論文リスト
- Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
多言語言語モデル(MLLM)の言語間伝達能力について検討した。
本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
論文 参考訳（メタデータ） (2024-03-29T08:47:15Z) - Enhancing Multilingual Capabilities of Large Language Models through
Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。
彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文 参考訳（メタデータ） (2024-02-19T15:07:32Z) - Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
言語間移動は多言語NLPにおける中心的なタスクである。
このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。
ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
論文 参考訳（メタデータ） (2023-09-19T19:30:56Z) - Analysing Cross-Lingual Transfer in Low-Resourced African Named Entity
Recognition [0.10641561702689348]
低リソース言語10言語間の言語間移動学習の特性について検討する。
一つの言語でうまく機能するモデルは、他の言語への一般化を犠牲にして、しばしばそうする。
ソースとターゲットデータセット間で重複するデータの量は、言語間の地理的あるいは遺伝的距離よりも、転送性能の予測器として優れている。
論文 参考訳（メタデータ） (2023-09-11T08:56:47Z) - Transfer to a Low-Resource Language via Close Relatives: The Case Study
on Faroese [54.00582760714034]
言語間のNLP転送は、高ソース言語のデータとモデルを活用することで改善できる。
我々は、名前付きエンティティ認識(NER)、セマンティックテキスト類似性(STS)、スカンジナビア全言語で訓練された新しい言語モデルのためのFaroeseデータセットとFaroeseデータセットの新しいWebコーパスをリリースする。
論文 参考訳（メタデータ） (2023-04-18T08:42:38Z) - Adaptive Activation Network For Low Resource Multilingual Speech
Recognition [30.460501537763736]
ASRモデルの上位層に適応的アクティベーションネットワークを導入する。
また,(1)クロス言語学習,(2)アクティベーション関数をソース言語からターゲット言語に置き換える,(2)多言語学習という2つの手法を提案する。
IARPA Babelデータセットに関する実験により、我々のアプローチは、オフスクラッチトレーニングや従来のボトルネック機能に基づく手法よりも優れていることを示した。
論文 参考訳（メタデータ） (2022-05-28T04:02:59Z) - Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。
シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。
提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
論文 参考訳（メタデータ） (2021-07-27T06:51:13Z) - Low-Resource Spoken Language Identification Using Self-Attentive Pooling
and Deep 1D Time-Channel Separable Convolutions [0.0]
本稿では,言語識別タスクの低リソース設定において,自己認識型プーリング層を用いた畳み込みニューラルネットワークが有望な結果を示すことを示す。
また、性別、年齢などの他の分類要素が良好に評価されるようにデータセットが十分に多様である場合、LIDシステムの混乱行列が言語類似度測定を担っているという仮説を定式化する。
論文 参考訳（メタデータ） (2021-05-31T18:35:27Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳（メタデータ） (2020-12-31T11:37:28Z) - Cross-lingual, Character-Level Neural Morphological Tagging [57.0020906265213]
文字レベルのリカレントなニューラルタグをトレーニングし、高リソース言語と低リソース言語を併用して形態的タグ付けを予測する。
複数の関連言語間の共同文字表現の学習は、高リソース言語から低リソース言語への知識伝達を成功させ、モノリンガルモデルの精度を最大30%向上させる。
論文 参考訳（メタデータ） (2017-08-30T08:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。