論文の概要: Can Perplexity Predict Fine-Tuning Performance? An Investigation of Tokenization Effects on Sequential Language Models for Nepali

• arxiv url: http://arxiv.org/abs/2404.18071v1
• Date: Sun, 28 Apr 2024 05:26:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 18:02:54.146441
• Title: Can Perplexity Predict Fine-Tuning Performance? An Investigation of Tokenization Effects on Sequential Language Models for Nepali
• Title（参考訳）: パープレキシティは微調整性能を予測できるか? : ネパールの逐次言語モデルにおけるトークン化効果の検討
• Authors: Nishant Luitel, Nirajan Bekoju, Anand Kumar Sah, Subarna Shakya,
• Abstract要約: サブワードが言語モデルの理解能力にどのように影響するかの研究はほとんどなく、少数の言語に限られている。 ネパールの比較的小さな言語モデルを事前訓練するために、6つの異なるトークン化スキームを使用し、下流のタスクを微調整するために学んだ表現を使用しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent language models use subwording mechanisms to handle Out-of-Vocabulary(OOV) words seen during test time and, their generation capacity is generally measured using perplexity, an intrinsic metric. It is known that increasing the subword granularity results in a decrease of perplexity value. However, the study of how subwording affects the understanding capacity of language models has been very few and only limited to a handful of languages. To reduce this gap we used 6 different tokenization schemes to pretrain relatively small language models in Nepali and used the representations learned to finetune on several downstream tasks. Although byte-level BPE algorithm has been used in recent models like GPT, RoBERTa we show that on average they are sub-optimal in comparison to algorithms such as SentencePiece in finetuning performances for Nepali. Additionally, similar recent studies have focused on the Bert-based language model. We, however, pretrain and finetune sequential transformer-based language models.
• Abstract（参考訳）: 最近の言語モデルでは、テスト時間中に見られる外語彙(OOV)語を扱うためにサブワード機構を使用しており、その生成能力は内在的計量であるパープレキシティ(perplexity)を用いて一般的に測定されている。 サブワードの粒度の増加は、パープレキシティ値の低下をもたらすことが知られている。 しかし、サブワードが言語モデルの理解能力にどのように影響するかの研究はほとんどなく、少数の言語に限られている。 このギャップを減らすために、ネパールで比較的小さな言語モデルを事前訓練するために、6つの異なるトークン化スキームを使用しました。 GPTのような最近のモデルではバイトレベルのBPEアルゴリズムが用いられているが、RoBERTaでは、ネパールの微調整性能において、SentencePieceのようなアルゴリズムと比較して、平均的にサブ最適であることが示されている。 さらに、同様の研究は、Bertベースの言語モデルに焦点を当てている。 しかし、我々は、シーケンシャルトランスフォーマーベースの言語モデルを事前訓練し、微調整する。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• MANTa: Efficient Gradient-Based Tokenization for Robust End-to-End Language Modeling [0.0]
  本稿では,適応型ニューラルトケニズAtionのモジュールであるMANTaを提案する。 ManTaは、言語モデルでエンドツーエンドにトレーニングされた差別化可能なトークンエーザである。 MANTaは一般ドメインGLUEベンチマークで他のモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-12-14T15:33:44Z)
• A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
  サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。 我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
  論文  参考訳（メタデータ） (2022-10-13T15:47:09Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Impact of Tokenization on Language Models: An Analysis for Turkish [2.4660652494309936]
  我々は、OSCARコーパスのトルコ分割におけるRoBERTa事前訓練手順を用いて、トークン化器および事前訓練中規模言語モデルを訓練する。 統計的実験により, モルフォロジーレベルのトークン化器は, 事実上のトークン化器で高い性能を示した。 語彙サイズを増大させることで,デファクトトークン化よりも形態素およびワードレベルのトークン化器の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2022-04-19T12:01:46Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Revisiting Simple Neural Probabilistic Language Models [27.957834093475686]
  本稿では,Bengio2003ANPの神経確率言語モデル(NPLM)を再検討する。 現代のハードウェアにスケールアップすると、このモデルは単語レベルの言語モデルのベンチマークで期待以上にパフォーマンスが向上する。 この結果に触発され、最初の自己保持層をNPLMの局所連結層に置き換えることでトランスフォーマーを変更した。
  論文  参考訳（メタデータ） (2021-04-08T02:18:47Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。