論文の概要: Egalitarian Language Representation in Language Models: It All Begins with Tokenizers

• arxiv url: http://arxiv.org/abs/2409.11501v1
• Date: Tue, 17 Sep 2024 19:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 20:09:45.998831
• Title: Egalitarian Language Representation in Language Models: It All Begins with Tokenizers
• Title（参考訳）: 言語モデルにおける平等的言語表現--トーケナイザーとの関わり-
• Authors: Menan Velayuthan, Kengatharaiyer Sarveswaran,
• Abstract要約: すべてのトークンライザが、Tamil、Sinhala、Hindiといった複雑なスクリプト言語に対して公正な表現を提供するわけではないことを示す。 本稿では,Grapheme Pair と呼ばれるグラフエムを組み込むことにより,Byte Pair アルゴリズムの改良を提案する。 実験の結果, 文字抽出は複雑なスクリプトに対して, バイトレベルのトークン化器よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Tokenizers act as a bridge between human language and the latent space of language models, influencing how language is represented in these models. Due to the immense popularity of English-Centric Large Language Models (LLMs), efforts are being made to adapt them for other languages. However, we demonstrate that, from a tokenization standpoint, not all tokenizers offer fair representation for complex script languages such as Tamil, Sinhala, and Hindi, primarily due to the choice of pre-tokenization methods. We go further to show that pre-tokenization plays a more critical role than the tokenization algorithm itself in achieving an egalitarian representation of these complex script languages. To address this, we introduce an improvement to the Byte Pair Encoding (BPE) algorithm by incorporating graphemes, which we term Grapheme Pair Encoding (GPE). Our experiments show that grapheme-based character extraction outperforms byte-level tokenizers for complex scripts. We validate this approach through experiments on Tamil, Sinhala, and Hindi.
• Abstract（参考訳）: トケナイザーは人間の言語と言語モデルの潜在空間の間の橋渡しとして働き、これらのモデルで言語がどのように表現されるかに影響を与える。 英語中心の大規模言語モデル(LLM)は非常に人気があるため、他の言語に適応するための努力が続けられている。 しかし、トークン化の観点からは、すべてのトークン化者がタミル語、シンハラ語、ヒンディー語などの複雑なスクリプト言語に対して公正な表現を提供するわけではない。 さらに、これらの複雑なスクリプト言語の平等表現を達成する上で、トークン化アルゴリズム自体よりも、事前トークン化がより重要な役割を担っていることを示す。 この問題に対処するため,我々はGrapheme Pair Encoding (GPE) と呼ばれるグラフエムを組み込んだByte Pair Encoding (BPE) アルゴリズムの改良を行った。 実験の結果, 文字抽出は複雑なスクリプトに対して, バイトレベルのトークン化器よりも優れていることがわかった。 このアプローチは、Tamil、Sinhala、Hindiの実験を通じて検証する。

関連論文リスト

• Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages [0.0]
  インドのような多言語社会では、テキストはしばしばコードミキシングを示し、異なる言語レベルで現地の言語と英語をブレンドする。 本稿では,Dravidian言語における単語レベルのLI課題への対処を目的とした,共有タスクのプロンプトベース手法を提案する。 本研究では,GPT-3.5 Turboを用いて,大言語モデルが単語を正しいカテゴリに分類できるかどうかを検証した。
  論文  参考訳（メタデータ） (2024-11-06T16:20:37Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Introducing Syllable Tokenization for Low-resource Languages: A Case Study with Swahili [29.252250069388687]
  トークン化は、文字やサブワードに基づいて単語を分割することができ、言語の構造を最もよく表す単語埋め込みを生成する。 そこで我々は,スワヒリ語に基づく音節トークン化手法を提案し,実験中心の手法を適用した。
  論文  参考訳（メタデータ） (2024-03-26T17:26:50Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• How do different tokenizers perform on downstream tasks in scriptio continua languages?: A case study in Japanese [4.259342268820457]
  本稿では,単語間に明示的な空間が存在しないスクリプティカル連続言語において,トークン化剤が事前学習言語モデル(PLM)の下流性能に与える影響について検討する。 このような言語のトークン化子は、しばしば形態解析器とサブワードトークン化器から構成され、全ての可能なペアについて包括的な研究を行う必要がある。 我々は、幅広いトークンのセットを訓練し、それぞれを用いてPLMを構築し、幅広いタスクで下流のパフォーマンスを測定する。
  論文  参考訳（メタデータ） (2023-06-16T01:22:32Z)
• Better Than Whitespace: Information Retrieval for Languages without Custom Tokenizers [48.036317742487796]
  語彙マッチング検索アルゴリズムのための新しいトークン化手法を提案する。 教師なしのデータから自動的に構築できるWordPieceトークンライザを使用します。 以上の結果から,mBERTトークン化器は,ほとんどの言語において,"アウト・オブ・ザ・ボックス(out of the box)"を検索するための強い関連信号を提供することがわかった。
  論文  参考訳（メタデータ） (2022-10-11T14:32:46Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
  事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。 本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2021-06-01T11:20:02Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。