論文の概要: Enhancing Character-Level Understanding in LLMs through Token Internal Structure Learning

• arxiv url: http://arxiv.org/abs/2411.17679v1
• Date: Tue, 26 Nov 2024 18:44:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:01.439254
• Title: Enhancing Character-Level Understanding in LLMs through Token Internal Structure Learning
• Title（参考訳）: トークン内部構造学習によるLLMにおける文字レベル理解の強化
• Authors: Zhu Xu, Zhiqiang Zhao, Zihan Zhang, Yuchi Liu, Quanwei Shen, Fei Liu, Yu Kuang,
• Abstract要約: Token Internal Position Awareness (TIPA) は、LLMの内部トークン構造に対する理解を高める新しいアプローチである。 TIPAは、モデルが文字の位置と内部構造を効果的に学習し、一般化することを可能にする。
• 参考スコア（独自算出の注目度）: 20.100484034021285
• License:
• Abstract: Tokenization techniques such as Byte-Pair Encoding (BPE) and Byte-Level BPE (BBPE) have significantly improved the computational efficiency and vocabulary representation stability of large language models (LLMs) by segmenting text into tokens. However, this segmentation often obscures the internal character structures and sequences within tokens, preventing models from fully learning these intricate details during training. Consequently, LLMs struggle to comprehend the character compositions and positional relationships within tokens, especially when fine-tuned on downstream tasks with limited data. In this paper, we introduce Token Internal Position Awareness (TIPA), a novel approach that enhances LLMs' understanding of internal token structures by training them on reverse character prediction tasks using the tokenizer's own vocabulary. This method enables models to effectively learn and generalize character positions and internal structures. Experimental results demonstrate that LLMs trained with TIPA outperform baseline models in predicting character positions at the token level. Furthermore, when applied to the downstream task of Chinese Spelling Correction (CSC), TIPA not only accelerates model convergence but also significantly improves task performance.
• Abstract（参考訳）: BPE(Byte-Pair Encoding)やBBPE(Byte-Level BPE)といったトークン化技術は,テキストをトークンに分割することで,大規模言語モデル(LLM)の計算効率と語彙表現安定性を大幅に向上させた。 しかしながら、このセグメンテーションはしばしばトークンの内部の文字構造やシーケンスを曖昧にし、トレーニング中にこれらの複雑な詳細をモデルが完全に学習するのを防ぐ。 その結果、LLMはトークン内の文字構成と位置関係の理解に苦慮し、特に限られたデータで下流タスクを微調整する場合に顕著である。 本稿では,トークン処理者自身の語彙を用いて,逆文字予測タスクをトレーニングすることにより,内部トークン構造に対するLLMの理解を高める新しいアプローチである,トークン内位置認識(TIPA)を紹介する。 この手法により、モデルが文字の位置や内部構造を効果的に学習し、一般化することができる。 実験の結果,TIPAでトレーニングしたLLMは,トークンレベルでの文字位置の予測において,ベースラインモデルよりも優れていた。 さらに、中国語スペル補正(CSC)の下流タスクに適用すると、TIPAはモデル収束を加速するだけでなく、タスク性能も大幅に向上する。

関連論文リスト

• Enhancing LLM Character-Level Manipulation via Divide and Conquer [108.6908427615402]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:37:39Z)
• C-LLM: Learn to Check Chinese Spelling Errors Character by Character [61.53865964535705]
  本稿では,C-LLMを提案する。C-LLMは,文字による誤り文字のチェックを学習する中国語のスペルチェック手法である。 C-LLMは既存の方法よりも平均10%改善する。
  論文  参考訳（メタデータ） (2024-06-24T11:16:31Z)
• Contextual Position Encoding: Learning to Count What's Important [42.038277620194]
  我々は,新しい位置符号化手法であるコンテキスト位置フロップ(CoPE)を提案する。 CoPEは、モデルによって決定された特定のトークンに位置を増すことによって、状況に応じて位置を条件付けることができる。 一般的な位置埋め込みが失敗するFlip-Flopタスクにおいて,CoPEが選択的コピー,カウント,Flip-Flopタスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T02:57:15Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
  本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。 テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。 我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Reducing Sequence Length by Predicting Edit Operations with Large Language Models [50.66922361766939]
  本稿では,ローカルなシーケンス変換タスクに対して,ソーステキストの編集スパンを予測することを提案する。 編集スパンの監督データに大規模言語モデルに対する命令チューニングを適用する。 実験の結果,提案手法は4つのタスクにおいて,ベースラインに匹敵する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-05-19T17:51:05Z)
• Memory Augmented Lookup Dictionary based Language Modeling for Automatic Speech Recognition [20.926163659469587]
  LMのための新しいメモリ拡張ルックアップ辞書に基づくトランスフォーマーアーキテクチャを提案する。 新しく導入されたルックアップ辞書は、トレーニングセットにリッチなコンテキスト情報を組み込んでおり、ロングテールトークンを正確に予測するのに不可欠である。 提案手法は,ワード/文字誤り率とテールトークン誤り率の両方に大きな差で,ベースライントランスフォーマーLMより優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-30T22:26:57Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。