論文の概要: Positional Description for Numerical Normalization

• arxiv url: http://arxiv.org/abs/2408.12430v1
• Date: Thu, 22 Aug 2024 14:24:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 13:32:07.531143
• Title: Positional Description for Numerical Normalization
• Title（参考訳）: 数値正規化のための位置記述
• Authors: Deepanshu Gupta, Javier Latorre,
• Abstract要約: 本稿では,桁列に適した位置記述方式(PDS)を提案し,各桁のプレースホルダ値情報を統合する。 PDSは、ニューラルネットワークモデルの致命的な数値正規化エラーを軽減し、わずかなトレーニングデータしか必要としない。 PDSはテキスト音声と音声認識の両方のテキスト処理に必須であり、生産制約下で有効なTNを実現することを実証する。
• 参考スコア（独自算出の注目度）: 1.1082494526951898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a Positional Description Scheme (PDS) tailored for digit sequences, integrating placeholder value information for each digit. Given the structural limitations of subword tokenization algorithms, language models encounter critical Text Normalization (TN) challenges when handling numerical tasks. Our schema addresses this challenge through straightforward pre-processing, preserving the model architecture while significantly simplifying number normalization, rendering the problem tractable. This simplifies the task and facilitates more compact production-ready models capable of learning from smaller datasets. Furthermore, our investigations reveal that PDS enhances the arithmetic processing capabilities of language models, resulting in a relative accuracy improvement of 23% to 51% on complex arithmetic tasks. We demonstrate that PDS effectively mitigates fatal numerical normalization errors in neural models, requiring only a modest amount of training data without rule-based Finite State Transducers (FST). We demonstrate that PDS is essential for both the Text-To-Speech and Speech Recognition text processing, enabling effective TN under production constraints.
• Abstract（参考訳）: 本稿では,桁列に適した位置記述方式(PDS)を提案し,各桁のプレースホルダ値情報を統合する。 サブワードトークン化アルゴリズムの構造的制限を考えると、言語モデルは数値的なタスクを扱う際に重要なテキスト正規化(TN)問題に遭遇する。 我々のスキーマは、素直な前処理によってこの問題に対処し、モデルアーキテクチャを保存しつつ、数値正規化を著しく単純化し、問題を抽出可能なものにします。 これはタスクを単純化し、より小さなデータセットから学習可能な、よりコンパクトなプロダクション対応モデルを容易にする。 さらに,PDSは言語モデルの算術処理能力を向上し,複雑な算術処理において相対的精度が23%から51%向上することを示した。 我々は、PDSがニューラルネットワークモデルにおける致命的な数値正規化誤差を効果的に軽減し、ルールベースの有限状態トランスデューサ(FST)を使わずに、わずかな量のトレーニングデータしか必要としないことを示した。 PDSはテキスト音声と音声認識の両方のテキスト処理に必須であり、生産制約下で有効なTNを実現することを実証する。

関連論文リスト

• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Reducing Sequence Length by Predicting Edit Operations with Large Language Models [50.66922361766939]
  本稿では,ローカルなシーケンス変換タスクに対して,ソーステキストの編集スパンを予測することを提案する。 編集スパンの監督データに大規模言語モデルに対する命令チューニングを適用する。 実験の結果,提案手法は4つのタスクにおいて,ベースラインに匹敵する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-05-19T17:51:05Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Task-guided Disentangled Tuning for Pretrained Language Models [16.429787408467703]
  本稿では,事前学習型言語モデル(PLM)のためのタスク誘導型ディスタングル型チューニング(TDT)を提案する。 TDTは、タスク関連信号を絡み合った表現から切り離すことにより、表現の一般化を強化する。 GLUE と CLUE のベンチマークによる実験結果から,TDT は異なる PLM を用いた微調整よりも一貫した結果が得られた。
  論文  参考訳（メタデータ） (2022-03-22T03:11:39Z)
• Exploring Decomposition for Table-based Fact Verification [18.584226291619217]
  複雑な文を単純なサブプロブレムに分解することで事実検証を改善する。 提案手法は,TabFactベンチマークにおいて,82.7%の精度で最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-22T20:15:05Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Sentence Boundary Augmentation For Neural Machine Translation Robustness [11.290581889247983]
  文境界セグメンテーションが品質に最も大きな影響を与えることを示し、セグメンテーションの堅牢性を改善するための単純なデータ拡張戦略を開発する。 文境界セグメンテーションが品質に最も大きな影響を与えることを示し、セグメンテーションの堅牢性を改善するための単純なデータ拡張戦略を開発する。
  論文  参考訳（メタデータ） (2020-10-21T16:44:48Z)
• Towards Minimal Supervision BERT-based Grammar Error Correction [81.90356787324481]
  我々は、事前訓練された言語モデルからコンテキスト情報を取り入れて、アノテーションを活用し、多言語シナリオの恩恵を得ようとしている。 その結果、文法的誤り訂正タスクにおいて、変換器(BERT)からの双方向表現の強い可能性を示す。
  論文  参考訳（メタデータ） (2020-01-10T15:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。