論文の概要: A Task-Oriented Evaluation Framework for Text Normalization in Modern NLP Pipelines

• arxiv url: http://arxiv.org/abs/2511.20409v1
• Date: Tue, 25 Nov 2025 15:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.529283
• Title: A Task-Oriented Evaluation Framework for Text Normalization in Modern NLP Pipelines
• Title（参考訳）: 現代のNLPパイプラインにおけるテキスト正規化のためのタスク指向評価フレームワーク
• Authors: Md Abdullah Al Kafi, Raka Moni, Sumit Kumar Banshal,
• Abstract要約: 本研究では,スリーミング手法を評価するための新しいタスク指向アプローチを提案する。 SES(Stemming Effectiveness Score)を用いたステミングの有用性,(2)モデル性能デルタ(MPD)を用いた下流タスクにおけるステミングの効果,(3)平均正規化Levenshtein Distance(ANLD)を用いた幹語と原語間の意味的類似性,の3つの側面を考察する。 我々の研究は、潜在的効率向上(高いSES)と意味保存(低いANLD)を区別するための貴重なツールを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text normalization is an essential preprocessing step in many natural language processing (NLP) tasks, and stemming is one such normalization technique that reduces words to their base or root form. However, evaluating stemming methods is challenging because current evaluation approaches are limited and do not capture the potential harm caused by excessive stemming; therefore, it is essential to develop new approaches to evaluate stemming methods. To address this issue, this study propose a novel, task-oriented approach to evaluate stemming methods, which considers three aspects: (1) the utility of stemming using Stemming Effectiveness Score (SES), (2) the impact of stemming on downstream tasks using Model Performance Delta (MPD), and (3) the semantic similarity between stemmed and original words using Average Normalized Levenshtein Distance (ANLD), thus providing a comprehensive evaluation framework. We apply our evaluation framework to compare two stemmers for Bangla (BNLTK) and English (Snowball), and our results reveal a significant issue, prompting us to analyze their performance in detail. While the Bangla stemmer achieves the highest SES (1.67) due to effective word reduction (CR = 1.90), SES alone is insufficient because our proposed safety measure, ANLD, reveals that this high SES is due to harmful over-stemming (ANLD = 0.26), which correlates with the observed decrease in downstream performance.In contrast, the English stemmer achieves a moderate SES (1.31) with a safe meaning distance (ANLD = 0.14), allowing its word reduction to contribute positively to downstream performance; therefore, it is a more reliable stemmer. Our study provides a valuable tool for distinguishing between potential efficiency gains (high SES) and meaning preservation (low ANLD).
• Abstract（参考訳）: テキスト正規化は、多くの自然言語処理(NLP)タスクにおいて必須の事前処理ステップであり、スムーミングは、単語をベースまたはルート形式に減らすような正規化手法である。 しかし、現在の評価手法は限定的であり、過剰な評価方法による潜在的害を捉えないため、新しい手法を開発することが不可欠である。 そこで本研究では,(1)ステミング効果スコア(SES)を用いたステミングの有用性,(2)モデル性能デルタ(MPD)を用いた下流タスクに対するステミングの効果,(3)平均正規化レベンシュテイン距離(ANLD)を用いたステミング語と原語とのセマンティックな類似性,の3つの側面を考察した。 評価フレームワークをBangla (BNLTK) と English (Snowball) の2つの比較に適用し、その結果、重要な問題を明らかにし、それらの性能を詳細に分析する。 有効単語削減(CR = 1.90)によるSESの最高値(1.67)を達成する一方で,提案した安全性指標であるANLDにより,この高いSESは下流性能の低下と相関する有害なオーバーステミング(ANLD = 0.26)によるものであることが判明し,それに対して,英語のSESは,安全な意味距離(ANLD = 0.14)を有する中程度のSES(1.31)を達成し,単語短縮が下流性能に肯定的な寄与を可能にするため,より信頼性の高いSESであることが判明した。 本研究は,潜在的効率向上(高SES)と意味保存(低ANLD)を区別するための貴重なツールを提供する。

関連論文リスト

• Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models [57.474294329887236]
  拡散大言語モデル (dLLMs) は反復的 denoising を通じてテキストを生成する。 現在のデコード戦略は、最終的な出力に有利なリッチな中間予測を捨てている。 時間的整合性を利用する2つの相補的手法を導入する。
  論文  参考訳（メタデータ） (2025-08-12T17:59:57Z)
• On the Effectiveness of ASR Representations in Real-world Noisy Speech Emotion Recognition [23.812838405442953]
  音声の感情認識(NSER)を効果的に行う試みを提案する。 ノイズキャンバス特徴抽出器として自動音声認識(ASR)モデルを採用し,雑音の多い音声の非音声情報を除去する。 実験の結果,提案手法は従来のノイズ低減法に比べてNSER性能が向上し,2)自己教師あり学習手法よりも優れ,3)ASR文字起こしや音声音声の真理書き起こしによるテキストベースアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-11-13T05:45:55Z)
• No Strong Feelings One Way or Another: Re-operationalizing Neutrality in Natural Language Inference [6.485890157501745]
  自然言語推論(NLI)は、言語モデルの推論推論能力を評価するための基礎的なタスクである。 NLIで使用される標準的な3方向分類スキームは、自然な人間の推論のニュアンスを捉えるモデルの能力を評価するのに、よく知られた欠点がある。 我々は、現在のNLIデータセットにおける中立ラベルの運用は、妥当性が低く、矛盾なく解釈され、少なくとも1つの重要な中立感が無視されることを論じる。
  論文  参考訳（メタデータ） (2023-06-16T15:45:08Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。