Fugu-MT 論文翻訳(概要): Adapting BigScience Multilingual Model to Unseen Languages

論文の概要: Adapting BigScience Multilingual Model to Unseen Languages

arxiv url: http://arxiv.org/abs/2204.04873v1
Date: Mon, 11 Apr 2022 05:32:14 GMT
ステータス: 処理完了
システム内更新日: 2022-04-13 04:30:03.738246
Title: Adapting BigScience Multilingual Model to Unseen Languages
Title（参考訳）: BigScience Multilingual Model を未確認言語に適用する
Authors: Zheng-Xin Yong and Vassilina Nikoulina
Abstract要約: 我々は、BigScienceの事前訓練された多言語言語モデルに新しい言語を追加するための様々な戦略をベンチマークする。本稿では,モデルの言語適応性に影響を与える要因と,計算コストと期待性能のトレードオフについて検討する。
参考スコア（独自算出の注目度）: 14.97122366444479
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We benchmark different strategies of adding new languages (German and Korean) into the BigScience's pretrained multilingual language model with 1.3 billion parameters that currently supports 13 languages. We investigate the factors that affect the language adaptability of the model and the trade-offs between computational costs and expected performance.
Abstract（参考訳）: 現在13の言語をサポートする13億のパラメータを持つBigScienceの事前訓練された多言語言語モデルに、新しい言語(ドイツ語と韓国語)を追加するためのさまざまな戦略をベンチマークする。本稿では,モデルの言語適応性に影響を与える要因と,計算コストと期待性能のトレードオフについて検討する。

関連論文リスト

The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文参考訳（メタデータ） (2024-04-11T17:58:05Z)
The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文参考訳（メタデータ） (2023-10-20T02:26:34Z)
Exploring the Maze of Multilingual Modeling [2.0849578298972835]
我々は,mBERT,XLM-R,GPT-3の3つの言語モデルについて総合評価を行った。その結果,言語固有の事前学習データの量はモデル性能において重要な役割を担っているが,汎用リソースの可用性,言語ファミリ,スクリプトタイプといった他の要因も重要な特徴であることがわかった。
論文参考訳（メタデータ） (2023-10-09T04:48:14Z)
A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models [6.907247943327277]
Polyglotは多言語モデルの非英語のパフォーマンス向上を目的とした先駆的なプロジェクトである。多言語韓国語モデルは、自然界において多言語的ではなく、特定の焦点を表わすものである。
論文参考訳（メタデータ） (2023-06-04T04:04:04Z)
Comparison of Multilingual Self-Supervised and Weakly-Supervised Speech Pre-Training for Adaptation to Unseen Languages [40.41642013737395]
近年のXLS-RやWhisperのようなモデルでは、約100の言語から音声を事前学習することで、多言語音声技術がより使いやすくなっている。事前学習中に見つからない言語にどのモデルを適応させるかを理解することを目的としている。 13の見知らぬ言語と18の見つからない言語で、両方のモデルを微調整します。
論文参考訳（メタデータ） (2023-05-21T23:53:12Z)
Phylogeny-Inspired Adaptation of Multilingual Models to New Languages [43.62238334380897]
我々は、言語系統情報を用いて、密接に関連する言語を活用する言語間移動を改善する方法を示す。我々は,多言語(ゲルマン語,ウルリック語,トゥピ語,ウト・アステカン語)の言語をアダプタベースで学習し,構文的・意味的タスクの評価を行う。
論文参考訳（メタデータ） (2022-05-19T15:49:19Z)
Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
論文参考訳（メタデータ） (2022-05-12T17:59:56Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文参考訳（メタデータ） (2021-03-24T16:20:02Z)
XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文参考訳（メタデータ） (2020-05-01T12:22:33Z)
Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
論文参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。