論文の概要: How do different tokenizers perform on downstream tasks in scriptio continua languages?: A case study in Japanese

• arxiv url: http://arxiv.org/abs/2306.09572v1
• Date: Fri, 16 Jun 2023 01:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 15:29:16.892100
• Title: How do different tokenizers perform on downstream tasks in scriptio continua languages?: A case study in Japanese
• Title（参考訳）: スクリプト連続言語における下流タスクでは、異なるトークンライザはどのように機能するのか? 日本人における事例研究
• Authors: Takuro Fujii, Koki Shibata, Atsuki Yamaguchi, Terufumi Morishita, Yasuhiro Sogawa
• Abstract要約: 本稿では,単語間に明示的な空間が存在しないスクリプティカル連続言語において,トークン化剤が事前学習言語モデル(PLM)の下流性能に与える影響について検討する。 このような言語のトークン化子は、しばしば形態解析器とサブワードトークン化器から構成され、全ての可能なペアについて包括的な研究を行う必要がある。 我々は、幅広いトークンのセットを訓練し、それぞれを用いてPLMを構築し、幅広いタスクで下流のパフォーマンスを測定する。
• 参考スコア（独自算出の注目度）: 4.259342268820457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the effect of tokenizers on the downstream performance of pretrained language models (PLMs) in scriptio continua languages where no explicit spaces exist between words, using Japanese as a case study. The tokenizer for such languages often consists of a morphological analyzer and a subword tokenizer, requiring us to conduct a comprehensive study of all possible pairs. However, previous studies lack this comprehensiveness. We therefore train extensive sets of tokenizers, build a PLM using each, and measure the downstream performance on a wide range of tasks. Our results demonstrate that each downstream task has a different optimal morphological analyzer, and that it is better to use Byte-Pair-Encoding or Unigram rather than WordPiece as a subword tokenizer, regardless of the type of task.
• Abstract（参考訳）: 本稿では,日本語を事例として,単語間に明示的な空間が存在しない台詞連続言語における事前学習言語モデル(plm)の下流性能に対するトークン化の効果について検討する。 このような言語のトークン化子は、しばしば形態解析器とサブワードトークン化器から構成され、全ての可能なペアについて包括的な研究を行う必要がある。 しかし、過去の研究は包括性に欠けていた。 そこで私たちは,トークンの広範なセットをトレーニングし,それぞれを使ってplmを構築し,さまざまなタスクでダウンストリームのパフォーマンスを測定します。 以上の結果から,各下流タスクは異なる最適形態素解析装置を備えており,タスクの種類に関わらず,ワードピースではなくバイトペアエンコーディングやユニグラムを使う方がよいことがわかった。

関連論文リスト

• Egalitarian Language Representation in Language Models: It All Begins with Tokenizers [0.0]
  すべてのトークンライザが、Tamil、Sinhala、Hindiといった複雑なスクリプト言語に対して公正な表現を提供するわけではないことを示す。 本稿では,Grapheme Pair と呼ばれるグラフエムを組み込むことにより,Byte Pair アルゴリズムの改良を提案する。 実験の結果, 文字抽出は複雑なスクリプトに対して, バイトレベルのトークン化器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T19:05:37Z)
• Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
  本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。 テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。 我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Learn Your Tokens: Word-Pooled Tokenization for Language Modeling [11.40976202290724]
  言語モデルは典型的には、トークンを長い文字列に組み合わせた決定論的手作業で、テキストをサブワードにトークン化する。 最近のコンテクスト長の圧縮と制限の試みは,単語境界を完全に無視するが有用である。 本稿では,単語境界を利用して単語表現にバイト/文字をプールする「学習する」方式について考察する。
  論文  参考訳（メタデータ） (2023-10-17T23:34:39Z)
• Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models [55.35106713257871]
  DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。 DecoMTはBLOOMモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T14:52:47Z)
• Better Than Whitespace: Information Retrieval for Languages without Custom Tokenizers [48.036317742487796]
  語彙マッチング検索アルゴリズムのための新しいトークン化手法を提案する。 教師なしのデータから自動的に構築できるWordPieceトークンライザを使用します。 以上の結果から,mBERTトークン化器は,ほとんどの言語において,"アウト・オブ・ザ・ボックス(out of the box)"を検索するための強い関連信号を提供することがわかった。
  論文  参考訳（メタデータ） (2022-10-11T14:32:46Z)
• A Vocabulary-Free Multilingual Neural Tokenizer for End-to-End Task Learning [8.052271364177988]
  サブワードトークン化は、最近のNLPモデルで一般的に使われる入力前処理のステップである。 本稿では,サブワードトークン化からセグメンテーション情報を抽出し,語彙自由なニューラルトークン化手法を提案する。 我々のトークンライザは、多言語(NLI)タスクとコードスイッチング(センチメント分析)タスクのパフォーマンスを一貫して改善します。
  論文  参考訳（メタデータ） (2022-04-22T16:50:49Z)
• Breaking Character: Are Subwords Good Enough for MRLs After All? [36.11778282905458]
  単語ピースの代わりに文字列よりもBERTスタイルの言語モデルを事前学習する。 我々は,3つの高度に複雑で曖昧なMRLのサブワードをベースとした,TavBERTと呼ばれるモデルと,現代のPLMを比較した。 これらの結果から,TavBERTは表層タスクを軽度に改善するのに対し,サブワードベースのPLMは意味タスクの処理性能が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2022-04-10T18:54:43Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation [82.96358326053115]
  構造設計選択に対する探索作業結果の感度について検討する。 我々は、英語で識別する「安定な領域」にある設計選択を多言語で構成した埋め込みを探索する。 私たちは英語の結果が他の言語に移行しないことに気付きます。
  論文  参考訳（メタデータ） (2020-06-16T12:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。