論文の概要: Towards Linguistically-Aware and Language-Independent Tokenization for Large Language Models (LLMs)

• arxiv url: http://arxiv.org/abs/2410.03568v1
• Date: Fri, 4 Oct 2024 16:18:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:17:55.396300
• Title: Towards Linguistically-Aware and Language-Independent Tokenization for Large Language Models (LLMs)
• Title（参考訳）: 言語モデル(LLM)の言語的認識と言語非依存化に向けて
• Authors: Abrar Rahman, Garry Bowlin, Binit Mohanty, Sean McGunigal,
• Abstract要約: 本稿では,最先端の大規模言語モデル(LLM)が採用するトークン化手法について述べる。 本研究は,これらのモデル間で観測されるトークン化の多様性を評価し,サブワードトークン化における言語表現の課題について検討する。 本研究の目的は、この領域以降のAIサービスの開発において、一般化可能な国際化(I18N)の実践を促進することである。
• 参考スコア（独自算出の注目度）: 0.09374652839580183
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper presents a comprehensive study on the tokenization techniques employed by state-of-the-art large language models (LLMs) and their implications on the cost and availability of services across different languages, especially low resource languages. The analysis considers multiple LLMs, including GPT-4 (using cl100k_base embeddings), GPT-3 (with p50k_base embeddings), and DaVinci (employing r50k_base embeddings), as well as the widely used BERT base tokenizer. The study evaluates the tokenization variability observed across these models and investigates the challenges of linguistic representation in subword tokenization. The research underscores the importance of fostering linguistically-aware development practices, especially for languages that are traditionally under-resourced. Moreover, this paper introduces case studies that highlight the real-world implications of tokenization choices, particularly in the context of electronic health record (EHR) systems. This research aims to promote generalizable Internationalization (I18N) practices in the development of AI services in this domain and beyond, with a strong emphasis on inclusivity, particularly for languages traditionally underrepresented in AI applications.
• Abstract（参考訳）: 本稿では,最先端の大規模言語モデル (LLM) が採用するトークン化技術と,それらが様々な言語,特に低リソース言語におけるサービスのコストと可用性に与える影響を包括的に研究する。 この分析では、GPT-4(cl100k_base埋め込み)、GPT-3(p50k_base埋め込み)、DaVinci(r50k_base埋め込み)を含む複数のLCMと、広く使用されているBERTベーストークンーザが検討されている。 本研究は,これらのモデル間で観測されるトークン化の多様性を評価し,サブワードトークン化における言語表現の課題について検討する。 この研究は、特に伝統的にリソース不足の言語に対して、言語的に認識された開発プラクティスを育むことの重要性を強調している。 さらに,電子健康記録(EHR)システムにおけるトークン化選択の現実的意味を強調するケーススタディを紹介する。 本研究の目的は、AIアプリケーションで伝統的に表現されていない言語において、この領域以上のAIサービスの開発において、一般化可能な国際化(I18N)の実践を促進することである。

関連論文リスト

• Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages [0.0]
  本稿では,12の大規模言語モデル (LLM) が使用するトークンの包括的評価を行った。 SUTRAトークンライザは、いくつかのIndic特化モデルを含む他のモデルよりも優れており、14言語で優れている。 本研究は,多言語およびインデックス中心モデルを対象としたトークン化戦略の開発において重要であることを示す。
  論文  参考訳（メタデータ） (2024-11-19T05:37:17Z)
• Responsible Multilingual Large Language Models: A Survey of Development, Applications, and Societal Impact [5.803667039914564]
  この作業は、実運用環境におけるMLLMの開発とデプロイのためのエンドツーエンドフレームワークを提供することによって、ギャップを埋める。 調査の結果,世界言語の88.38%が低資源言語に分類されるなど,言語多様性を支える上で重要な課題が明らかになった。 この調査は、より包括的で効果的な多言語AIシステムの開発に取り組んでいる実践者や研究者にとって不可欠なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-10-23T03:19:15Z)
• Qtok: A Comprehensive Framework for Evaluating Multilingual Tokenizer Quality in Large Language Models [0.0]
  トークン化の品質は、モデルが多様な言語を効果的に扱う能力に大きな影響を及ぼす可能性がある。 Qtokは、多言語環境でのパフォーマンスに特に重点を置いて、トークン化ツールの品質を評価するために設計されたツールである。 Qtokはこれらのメトリクスを適用して、58の公開モデルから13の異なるトークン化子を評価し、異なる言語コンテキストでアウトプットを分析する。
  論文  参考訳（メタデータ） (2024-10-16T19:34:34Z)
• EMMA-500: Enhancing Massively Multilingual Adaptation of Large Language Models [50.459861376459656]
  EMMA-500は546言語にわたるテキストで継続訓練された大規模多言語言語モデルである。 本結果は,大規模言語モデルの言語能力拡大における継続事前学習の有効性を強調した。
  論文  参考訳（メタデータ） (2024-09-26T14:40:45Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Problematic Tokens: Tokenizer Bias in Large Language Models [4.7245503050933335]
  本稿では,大きな言語モデルに固有のトークン化プロセスに相違点のルーツを辿る。 具体的には、トークン化プロセスのスピードアップによく使われるトークン化語が、英語以外の言語を不十分に表現する方法を探求する。 我々は,GPT-4oのトークン化機構を解明し,その簡易なトークン処理手法が関連するセキュリティや倫理的問題をいかに増幅するかを説明する。
  論文  参考訳（メタデータ） (2024-06-17T05:13:25Z)
• MultiPragEval: Multilingual Pragmatic Evaluation of Large Language Models [0.5822010906632046]
  本研究では,Large Language Models (LLMs)の最初の実用的評価であるMultiPragEvalを紹介する。 Griceの協力原理に従って分類された1200の質問ユニットを補完するMultiPragEvalは、LLMの文脈認識とインプリケートされた意味を推測する能力の詳細な評価を可能にする。 以上の結果から,Claude3-Opusはすべてのテスト言語で他のモデルよりも優れており,この分野における最先端の確立が期待できる。
  論文  参考訳（メタデータ） (2024-06-11T21:46:03Z)
• No Language is an Island: Unifying Chinese and English in Financial Large Language Models, Instruction Data, and Benchmarks [75.29561463156635]
  ICE-PIXIUは、翻訳された英語とオリジナルの英語のデータセットとともに、中国語のタスクのスペクトルを統合する。 多様なモデル変種への無制限アクセス、多言語および多モーダル命令データのコンパイル、エキスパートアノテーションによる評価ベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-03-10T16:22:20Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)
• Cross-lingual Lifelong Learning [53.06904052325966]
  本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。 マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。 この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
  論文  参考訳（メタデータ） (2022-05-23T09:25:43Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。