Fugu-MT 論文翻訳(概要): Unknown Script: Impact of Script on Cross-Lingual Transfer

論文の概要: Unknown Script: Impact of Script on Cross-Lingual Transfer

arxiv url: http://arxiv.org/abs/2404.18810v1
Date: Mon, 29 Apr 2024 15:48:01 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 13:08:44.489097
Title: Unknown Script: Impact of Script on Cross-Lingual Transfer
Title（参考訳）: 未知のスクリプト: スクリプトが言語間移動に与える影響
Authors: Wondimagegnhue Tsegaye Tufa, Ilia Markov, Piek Vossen,
Abstract要約: 言語間移動は、言語間で知識を伝達する効果的な方法となっている。我々は,事前学習モデルで使用するスクリプトとトークン化器が下流タスクの性能に与える影響を判定するために,一連の実験を行った。
参考スコア（独自算出の注目度）: 2.5398014196797605
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Cross-lingual transfer has become an effective way of transferring knowledge between languages. In this paper, we explore an often-overlooked aspect in this domain: the influence of the source language of the base language model on transfer performance. We conduct a series of experiments to determine the effect of the script and tokenizer used in the pre-trained model on the performance of the downstream task. Our findings reveal the importance of the tokenizer as a stronger factor than the sharing of the script, the language typology match, and the model size.
Abstract（参考訳）: 言語間移動は、言語間で知識を伝達する効果的な方法となっている。本稿では,この領域においてしばしば見過ごされる側面として,ベース言語モデルのソース言語が伝達性能に与える影響について考察する。我々は,事前学習モデルで使用するスクリプトとトークン化器が下流タスクの性能に与える影響を判定するために,一連の実験を行った。本研究により, スクリプトの共有, 言語型, モデルサイズに比較して, トークン化の重要性が示唆された。

関連論文リスト

Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
論文参考訳（メタデータ） (2024-06-28T08:59:24Z)
Measuring Cross-lingual Transfer in Bytes [9.011910726620538]
多様な言語からのモデルが、言語横断的な設定で対象言語と類似して動作することを示す。また,この移行が言語汚染や言語近接と関係がないという証拠も発見された。我々の実験は、事前学習中に学習した言語に依存しない表現の量を測定する新しい可能性を開いた。
論文参考訳（メタデータ） (2024-04-12T01:44:46Z)
Event Extraction in Basque: Typologically motivated Cross-Lingual Transfer-Learning Analysis [18.25948580496853]
低リソース言語におけるイベント抽出では,言語間移動学習が広く用いられている。本稿では,ソース言語とターゲット言語との類型的類似性が,言語間移動の性能に与える影響について検討する。
論文参考訳（メタデータ） (2024-04-09T15:35:41Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Languages You Know Influence Those You Learn: Impact of Language Characteristics on Multi-Lingual Text-to-Text Transfer [4.554080966463776]
マルチ言語モデル (LM) は低リソース言語での自然言語処理の実現に成功している。このようなモデル、特にmT5は、言語間の言語的および意味的な知識をどう転送するかをよりよく理解しようとしています。この研究の鍵となる発見は、構文、形態学、音韻学の類似性が言語間移動のよい予測因子であることである。
論文参考訳（メタデータ） (2022-12-04T07:22:21Z)
Language Chameleon: Transformation analysis between languages using Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
論文参考訳（メタデータ） (2022-09-14T05:20:52Z)
Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
論文参考訳（メタデータ） (2022-03-24T21:24:54Z)
Cross-lingual Transfer of Monolingual Models [2.332247755275824]
本稿では,ドメイン適応に基づくモノリンガルモデルの言語間移動手法を提案する。我々は、4つの異なる言語から英語へのそのような移動の効果について研究する。
論文参考訳（メタデータ） (2021-09-15T15:00:53Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文参考訳（メタデータ） (2020-05-01T12:22:33Z)
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。我々の表現は類型学を組み込み、言語関係と相関関係を強化する。次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。