論文の概要: Tokenization Falling Short: The Curse of Tokenization

• arxiv url: http://arxiv.org/abs/2406.11687v2
• Date: Thu, 03 Oct 2024 17:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 23:30:29.400407
• Title: Tokenization Falling Short: The Curse of Tokenization
• Title（参考訳）: トークン化が短くなった - トークン化のカース
• Authors: Yekun Chai, Yewei Fang, Qiwei Peng, Xuhong Li,
• Abstract要約: 本研究では,これらの課題とその言語モデルへの影響を体系的に検討する。 その結果,スケーリングモデルパラメータはトークン化の問題を軽減することができることがわかった。 実験の結果,BPEドロップアウトなどのサブワード正規化がこの問題を緩和できることがわかった。
• 参考スコア（独自算出の注目度）: 12.193639356480851
• License:
• Abstract: Language models typically tokenize raw text into sequences of subword identifiers from a predefined vocabulary, a process inherently sensitive to typographical errors, length variations, and largely oblivious to the internal structure of tokens--issues we term the curse of tokenization. In this study, we delve into these drawbacks and demonstrate that large language models (LLMs) remain susceptible to these problems. This study systematically investigates these challenges and their impact on LLMs through three critical research questions: (1) complex problem solving, (2) token structure probing, and (3) resilience to typographical variation. Our findings reveal that scaling model parameters can mitigate the issue of tokenization; however, LLMs still suffer from biases induced by typos and other text format variations. Our experiments show that subword regularization such as BPE-dropout can mitigate this issue. We release our evaluation code and data at https://github.com/FloatAI/TKEval.
• Abstract（参考訳）: 言語モデルは典型的には、原文を予め定義された語彙からサブワード識別子のシーケンスにトークン化する。 本研究では,これらの欠点を掘り下げ,これらの問題に対して大きな言語モデル (LLM) が適用可能であることを示す。 本研究は,(1)複雑な問題解決,(2)トークン構造探索,(3)タイポグラフィー変動に対するレジリエンスという3つの重要な研究課題を通じて,これらの課題とそのLLMへの影響を体系的に検討する。 この結果から, スケーリングモデルパラメータはトークン化の問題を軽減することができることがわかったが, LLMはタイポスやその他のテキストフォーマットのバリエーションによって引き起こされるバイアスに悩まされている。 実験の結果,BPEドロップアウトなどのサブワード正規化がこの問題を緩和できることがわかった。 評価コードとデータはhttps://github.com/FloatAI/TKEval.comで公開しています。

関連論文リスト

• Vulnerability of LLMs to Vertically Aligned Text Manipulations [108.6908427615402]
  大規模言語モデル(LLM)は、テキスト分類タスクの実行に非常に効果的である。 エンコーダベースのモデルのために単語を垂直に整列させるような入力形式を変更することは、テキスト分類タスクにおいてかなり精度を低下させる。 デコーダベースのLLMは、垂直フォーマットのテキスト入力と同じような脆弱性を示すか?
  論文  参考訳（メタデータ） (2024-10-26T00:16:08Z)
• Impact of Non-Standard Unicode Characters on Security and Comprehension in Large Language Models [0.0]
  本稿では、15個の異なるモデルの性能の比較分析を行う。 モデルは、ジェイルブレイク、幻覚、理解エラーの総発生に基づいて評価される。 Unicodeの数字記号を標準ラテンブロックの外側に組み込んで、他の言語の文字の変種を組み込むことで、ガードレールの有効性の低下を観測した。
  論文  参考訳（メタデータ） (2024-05-23T12:24:38Z)
• Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge [10.721272718226848]
  サブワードトークン化のための内在的・外在的評価フレームワークを提案する。 Intrepidの評価は、私たちの新しいUniMorph Labellerツールに基づいており、サブワードのトークン化を形態学または異星人として分類する。 実験の結果、UniMorph Labellerの精度は98%であり、異種トークン化はより低い一般化をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-04-20T06:49:15Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
  本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。 テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。 我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• The first step is the hardest: Pitfalls of Representing and Tokenizing Temporal Data for Large Language Models [10.414206635385632]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な一般化を実証している。 ウェアラブルや電子健康記録から得られたデータなど、数値データや時間データをこれらのモデルに入力する際に、顕著な障害が発生する。 モバイルヘルスセンシングなどの人間中心のタスクにLLMを用いた最近の研究について論じるとともに、一般的なLLMが時間データを誤ってトークン化していることを示すケーススタディを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:51:29Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)
• Idioms, Probing and Dangerous Things: Towards Structural Probing for Idiomaticity in Vector Space [2.5288257442251107]
  本研究の目的は, 埋め込まれた慣用的な情報がどのように構造的にコード化されているか, より深く知ることである。 静的 (GloVe) とコンテキスト埋め込み (BERT) の比較検討を行った。 実験の結果,慣用性がベクトルノルムに符号化されているかどうかの矛盾する証拠が得られた。
  論文  参考訳（メタデータ） (2023-04-27T17:06:20Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Experiments with adversarial attacks on text genres [0.0]
  BERTやXLM-RoBERTaのような事前学習されたトランスフォーマーに基づくニューラルモデルは、多くのNLPタスクにおいてSOTA結果を示す。 そこで本研究では,最も重要な単語のいくつかを類似した単語に置き換えることができる埋め込み型アルゴリズムが,モデル予測にかなりの割合で影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:37:59Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。