Fugu-MT 論文翻訳(概要): Training and Evaluation of a Multilingual Tokenizer for GPT-SW3

論文の概要: Training and Evaluation of a Multilingual Tokenizer for GPT-SW3

arxiv url: http://arxiv.org/abs/2304.14780v1
Date: Fri, 28 Apr 2023 11:40:48 GMT
ステータス: 処理完了
システム内更新日: 2023-05-01 14:30:02.351802
Title: Training and Evaluation of a Multilingual Tokenizer for GPT-SW3
Title（参考訳）: GPT-SW3用多言語トケナイザの訓練と評価
Authors: Felix Stollenwerk
Abstract要約: 我々は、トークンーの最も重要な特徴を概説し、学習した語彙の詳細を共有します。データに含まれる異なる言語に関して、トークン化器の性能を評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper provides a detailed discussion of the multilingual tokenizer used for GPT-SW3. It was trained on the Nordic Pile using the SentencePiece library and the BPE algorithm. We outline the tokenizer's most important features and share details on its learned vocabulary. In addition, we systematically analyze the properties and evaluate the performance of the tokenizer with regard to the different languages present in the data.
Abstract（参考訳）: 本稿では, GPT-SW3 で使用される多言語トークンについて, 詳細な考察を行う。 SentencePieceライブラリとBPEアルゴリズムを使って、北欧のパイルでトレーニングされた。私たちはtokenizerの最も重要な特徴を概説し、その学習した語彙の詳細を共有します。また,その特性を体系的に解析し,データに含まれる異なる言語についてトークン化器の性能評価を行う。

関連論文リスト

Batching BPE Tokenization Merges [55.2480439325792]
BatchBPEはByte PairアルゴリズムのPython実装である。ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
論文参考訳（メタデータ） (2024-08-05T09:37:21Z)
Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data? [112.0422370149713]
我々は、トレーニングデータの分布的構成を明らかにすることを目的として、データ混合推論と呼ぶタスクに取り組む。従来見過ごされていた情報源であるバイトペアエンコーディング(BPE)トークン化器をベースとした,新たな攻撃手法を提案する。我々は,自然言語,プログラミング言語,データソースの既知混合に基づいて訓練されたトークン化剤に対して,高い精度で混合比を回復することを示す。
論文参考訳（メタデータ） (2024-07-23T16:13:22Z)
Pronunciation Assessment with Multi-modal Large Language Models [10.35401596425946]
大規模言語モデル(LLM)に基づくスコアリングシステムを提案する。音声エンコーダは、まず学習者の音声を文脈的特徴にマッピングする。アダプタ層は、これらの機能を潜在空間に埋め込まれたテキストに合わせるように変換する。
論文参考訳（メタデータ） (2024-07-12T12:16:14Z)
Tokenization Is More Than Compression [14.939912120571728]
Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
論文参考訳（メタデータ） (2024-02-28T14:52:15Z)
Towards a Deep Understanding of Multilingual End-to-End Speech Translation [52.26739715012842]
我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。我々は分析から3つの大きな発見を得た。
論文参考訳（メタデータ） (2023-10-31T13:50:55Z)
Multi-level Contrastive Learning for Script-based Character Understanding [14.341307979533871]
文字の個人性やアイデンティティを発話から学習することを目的としたスクリプトにおける文字理解のシナリオに取り組む。キャラクタのグローバル情報をきめ細かな方法でキャプチャするマルチレベルコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-20T02:40:52Z)
Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。 SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2022-10-14T01:24:03Z)
Multilingual Representation Distillation with Contrastive Learning [20.715534360712425]
コントラスト学習を多言語表現蒸留に統合し,並列文の品質評価に利用する。我々は,多言語類似性探索とコーパスフィルタリングタスクによるアプローチの有効性を検証した。
論文参考訳（メタデータ） (2022-10-10T22:27:04Z)
SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
論文参考訳（メタデータ） (2021-06-01T11:20:02Z)
Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization [56.87201892585477]
多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
論文参考訳（メタデータ） (2020-10-20T05:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。