論文の概要: Evaluation Metrics for Text Data Augmentation in NLP
- arxiv url: http://arxiv.org/abs/2402.06766v1
- Date: Fri, 9 Feb 2024 19:59:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 19:17:49.476553
- Title: Evaluation Metrics for Text Data Augmentation in NLP
- Title（参考訳）: NLPにおけるテキストデータ拡張のための評価指標
- Authors: Marcellus Amadeus and William Alberto Cruz Casta\~neda
- Abstract要約: 本研究は,テキストデータ拡張手法の評価指標の分類法を提供する。
提案した分類学は、実装とメトリクス計算のツールを含むカテゴリを整理する。
我々は,テキストデータ拡張メトリクスの統合と標準化を探求する機会を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent surveys on data augmentation for natural language processing have
reported different techniques and advancements in the field. Several
frameworks, tools, and repositories promote the implementation of text data
augmentation pipelines. However, a lack of evaluation criteria and standards
for method comparison due to different tasks, metrics, datasets, architectures,
and experimental settings makes comparisons meaningless. Also, a lack of
methods unification exists and text data augmentation research would benefit
from unified metrics to compare different augmentation methods. Thus, academics
and the industry endeavor relevant evaluation metrics for text data
augmentation techniques. The contribution of this work is to provide a taxonomy
of evaluation metrics for text augmentation methods and serve as a direction
for a unified benchmark. The proposed taxonomy organizes categories that
include tools for implementation and metrics calculation. Finally, with this
study, we intend to present opportunities to explore the unification and
standardization of text data augmentation metrics.
- Abstract（参考訳）: 自然言語処理のためのデータ拡張に関する最近の調査は、この分野における様々な技術と進歩を報告している。
いくつかのフレームワーク、ツール、リポジトリは、テキストデータ拡張パイプラインの実装を促進する。
しかし、異なるタスク、メトリクス、データセット、アーキテクチャ、実験的な設定によるメソッド比較の評価基準や基準が欠如しているため、比較は意味がない。
また、統一化方法の欠如があり、テキストデータ拡張研究は、異なる拡張方法を比較するための統一メトリクスの恩恵を受けるだろう。
このように、学術者や業界は、テキストデータ拡張技術に関する関連する評価基準に取り組みます。
この研究の貢献は、テキスト拡張手法の評価指標の分類を提供し、統一ベンチマークの方向性として機能することである。
提案した分類学は、実装とメトリクス計算のツールを含むカテゴリを整理する。
最後に、本研究では、テキストデータ拡張メトリクスの統合と標準化を探求する機会を提示する。
関連論文リスト
- A Systematic Review of Data-to-Text NLG [2.4769539696439677]
高品質なテキストを生成する手法を探索し、テキスト生成における幻覚の課題に対処する。
テキスト品質の進歩にもかかわらず、このレビューは低リソース言語における研究の重要性を強調している。
論文 参考訳（メタデータ） (2024-02-13T14:51:45Z) - Training and Meta-Evaluating Machine Translation Evaluation Metrics at
the Paragraph Level [23.47729750104952]
本稿では,メタ評価とトレーニングのための段落レベルのデータ作成手法を提案する。
実験の結果, 文レベルの指標を用いて段落全体を評価することは, 段落レベルで機能するように設計された指標と同程度に効果的であることがわかった。
論文 参考訳（メタデータ） (2023-08-25T17:31:46Z) - DecompEval: Evaluating Generated Texts as Unsupervised Decomposed
Question Answering [95.89707479748161]
自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。
本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。
本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。
PLMが生成した回答を証拠として再検討し、評価結果を得る。
論文 参考訳（メタデータ） (2023-07-13T16:16:51Z) - INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained
Feedback [80.57617091714448]
テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。
LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
論文 参考訳（メタデータ） (2023-05-23T17:27:22Z) - Data Augmentation in Natural Language Processing: A Novel Text
Generation Approach for Long and Short Text Classifiers [8.19984844136462]
本稿では,長文と短文の分類器の性能向上に適したテキスト生成手法を提案し,評価する。
シミュレーションされた低データレギュレーションでは、最大15.53%の加算精度ゲインが達成される。
さまざまな種類のデータセットに対するアプローチを成功に導くための意味とパターンについて議論します。
論文 参考訳（メタデータ） (2021-03-26T13:16:07Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳（メタデータ） (2021-01-02T01:15:57Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - Re-evaluating Evaluation in Text Summarization [77.4601291738445]
トップスコアシステム出力を用いたテキスト要約の評価手法を再評価する。
古いデータセットにおける評価指標に関する結論は、現代データセットやシステムに必ずしも当てはまらない。
論文 参考訳（メタデータ） (2020-10-14T13:58:53Z) - Improving Text Generation Evaluation with Batch Centering and Tempered
Word Mover Distance [24.49032191669509]
類似度指標の符号化表現を改善するための2つの手法を提案する。
さまざまなBERTバックボーンの学習指標について結果を示し、複数のベンチマークでヒトのレーティングとアート相関の状態を達成した。
論文 参考訳（メタデータ） (2020-10-13T03:46:25Z) - A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。
本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。
特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
論文 参考訳（メタデータ） (2020-08-02T00:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。