論文の概要: Phonemes to the Rescue: Multilingual Tokenization Based on International Phonetic Alphabet

• arxiv url: http://arxiv.org/abs/2606.20993v1
• Date: Thu, 18 Jun 2026 23:50:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 11:20:04.590641
• Title: Phonemes to the Rescue: Multilingual Tokenization Based on International Phonetic Alphabet
• Title（参考訳）: 救済のための国語:国際音声アルファベットに基づく多言語化
• Abstract要約: 我々は多言語トークン化のための言語に依存しない入力表現として国際音声Alphabet (IPA) を提案する。 IPAは、コンパクトなシンボルインベントリ、より大きい言語間文字オーバーラップ、よりバランスの取れたバイト・パー・キャラクタの分布を提供する。 一致したテキスト対対IPAサブワードトークンライザを24言語と14のスクリプトでトレーニングし、IPAトークンライザが一貫してトークン化品質を改善することを示した。
• 参考スコア（独自算出の注目度）: 15.63204319501313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual language models often exhibit performance disparities across languages that can arise as early as the tokenization stage. Widely-used subword tokenization approaches favor high-resource languages, and tokenizer-free methods still yield longer sequences for scripts with a higher bytes-per-character ratio. To address these shortcomings, we propose to use the International Phonetic Alphabet (IPA) as a language-agnostic input representation for multilingual tokenizers. IPA provides a compact symbol inventory, greater cross-lingual character overlap, and a more balanced byte-per-character distribution across languages. We train matched pairs of text vs. IPA subword tokenizers across 24 languages and 14 scripts and demonstrate that IPA tokenizers consistently improve tokenization quality, especially for non-Latin scripts, and generalize more effectively to unseen languages and scripts.
• Abstract（参考訳）: マルチ言語モデルはしばしば、トークン化段階の早い段階で生じる可能性のある言語間のパフォーマンスの相違を示す。 広く使われているサブワードトークン化アプローチは、高リソース言語を好んでおり、トークン化なしの手法は、文字単位のバイト比が高いスクリプトに対して、長いシーケンスを生成する。 これらの欠点に対処するため,多言語トークン化のための言語に依存しない入力表現として国際音声Alphabet (IPA) を提案する。 IPAは、コンパクトなシンボルのインベントリ、言語間文字のオーバーラップ、言語間でのバイト単位の分散のバランスの向上を提供する。 我々は、24言語と14のスクリプトで一致したテキスト対IPAサブワードトークンをトレーニングし、特に非ラテン語スクリプトにおいて、IPAトークンはトークン化品質を一貫して改善し、目に見えない言語やスクリプトをより効果的に一般化することを示した。

関連論文リスト

• Tokenizing Crosslingual Homographs [8.254230288283258]
  多言語言語モデルは、限られた数のトークン単位内で複数の言語を表現するために、共有サブワード語彙に依存している。 我々はこの制限を言語間ホモグラフと偽の友人を通して検討する。 そこで本稿では,共有語彙単語の初期文字を置き換える言語固有の文字を用いた,単純なトークン化レベル介入を提案する。
  論文  参考訳（メタデータ） (2026-07-20T08:37:31Z)
• IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs [5.068673710249497]
  IndicSuperTokenizerは、Indic Multilingual LLMのトークンである。 サブワードとマルチワードトークン化、および言語固有のトークンを事前トークン化する。 LLaMA4より平均出生率39.5%、経度より18%向上している。
  論文  参考訳（メタデータ） (2025-11-05T06:57:42Z)
• Beyond Literal Token Overlap: Token Alignability for Multilinguality [53.680462160878925]
  我々は,多言語トークン化の効果と品質を理解する新しい方法として,サブワードトークン整合性を提案する。 特に、この指標は、スクリプトが異なっており、リテラルトークンの重複が低い場合、多言語性を予測する。 言語間移動のための最適な言語ペアを特定するために,我々のサブワードトークン整合性指標を推奨する。
  論文  参考訳（メタデータ） (2025-02-10T13:50:12Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• Egalitarian Language Representation in Language Models: It All Begins with Tokenizers [0.0]
  すべてのトークンライザが、Tamil、Sinhala、Hindiといった複雑なスクリプト言語に対して公正な表現を提供するわけではないことを示す。 本稿では,Grapheme Pair と呼ばれるグラフエムを組み込むことにより,Byte Pair アルゴリズムの改良を提案する。 実験の結果, 文字抽出は複雑なスクリプトに対して, バイトレベルのトークン化器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T19:05:37Z)
• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。 言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。 我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Phonological Features for 0-shot Multilingual Speech Synthesis [50.591267188664666]
  単言語モデルにおいても,トレーニング中に見つからない言語に対して,コードスイッチングが可能であることを示す。 テスト時には、訓練で見たことのない音の近似を含む、新しい言語で、理解不能で、コードスイッチトされた音声を生成する。
  論文  参考訳（メタデータ） (2020-08-06T18:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。