論文の概要: TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing
- arxiv url: http://arxiv.org/abs/2103.11441v1
- Date: Sun, 21 Mar 2021 17:20:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-24 11:34:14.314987
- Title: TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing
- Title（参考訳）: TextFlint:自然言語処理のための統一多言語ロバスト性評価ツールキット
- Authors: Tao Gui, Xiao Wang, Qi Zhang, Qin Liu, Yicheng Zou, Xin Zhou, Rui
Zheng, Chong Zhang, Qinzhuo Wu, Jiacheng Ye, Zexiong Pang, Yongxin Zhang,
Zhengyan Li, Ruotian Ma, Zichu Fei, Ruijian Cai, Jun Zhao, Xinwu Hu, Zhiheng
Yan, Yiding Tan, Yuan Hu, Qiyuan Bian, Zhihua Liu, Bolin Zhu, Shan Qin,
Xiaoyu Xing, Jinlan Fu, Yue Zhang, Minlong Peng, Xiaoqing Zheng, Yaqian Zhou,
Zhongyu Wei, Xipeng Qiu and Xuanjing Huang
- Abstract要約: NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
- 参考スコア（独自算出の注目度）: 73.16475763422446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Various robustness evaluation methodologies from different perspectives have
been proposed for different natural language processing (NLP) tasks. These
methods have often focused on either universal or task-specific generalization
capabilities. In this work, we propose a multilingual robustness evaluation
platform for NLP tasks (TextFlint) that incorporates universal text
transformation, task-specific transformation, adversarial attack,
subpopulation, and their combinations to provide comprehensive robustness
analysis. TextFlint enables practitioners to automatically evaluate their
models from all aspects or to customize their evaluations as desired with just
a few lines of code. To guarantee user acceptability, all the text
transformations are linguistically based, and we provide a human evaluation for
each one. TextFlint generates complete analytical reports as well as targeted
augmented data to address the shortcomings of the model's robustness. To
validate TextFlint's utility, we performed large-scale empirical evaluations
(over 67,000 evaluations) on state-of-the-art deep learning models, classic
supervised methods, and real-world systems. Almost all models showed
significant performance degradation, including a decline of more than 50% of
BERT's prediction accuracy on tasks such as aspect-level sentiment
classification, named entity recognition, and natural language inference.
Therefore, we call for the robustness to be included in the model evaluation,
so as to promote the healthy development of NLP technology.
- Abstract（参考訳）: 自然言語処理(NLP)タスクに対して,様々な観点から頑健性評価手法が提案されている。
これらの手法はしばしば普遍的あるいはタスク固有の一般化機能に焦点を合わせてきた。
本研究では, 汎用テキスト変換, タスク固有の変換, 対人攻撃, サブポピュレーション, およびそれらの組み合わせを組み込んだ, NLP タスクのための多言語頑健性評価プラットフォーム (TextFlint) を提案する。
TextFlintを使えば、実践者はすべての側面からモデルを自動的に評価したり、ほんの数行のコードで必要に応じて評価をカスタマイズできる。
ユーザのアクセシビリティを保証するために、すべてのテキスト変換は言語ベースであり、それぞれに人間による評価を提供する。
TextFlintは、モデルが堅牢であることの欠点に対処するために、完全な分析レポートとターゲットの強化データを生成する。
TextFlintの実用性を検証するため,最先端のディープラーニングモデル,古典的教師付き手法,実世界のシステムについて,大規模な経験的評価(67,000以上の評価)を行った。
ほぼ全てのモデルは、アスペクトレベルの感情分類、名前付きエンティティ認識、自然言語推論といったタスクにおけるBERTの予測精度の50%以上を低下させるなど、大幅な性能低下を示した。
そこで我々は,NLP技術の健全な開発を促進するため,モデル評価にロバスト性を含めるよう求めている。
関連論文リスト
- Fennec: Fine-grained Language Model Evaluation and Correction Extended through Branching and Bridging [25.078498180620425]
我々は, bntextbfChing および bridging を用いて, textbfFine の粒度のtextbfEvaluatiotextbfN textbfExtended を実現するためのステップバイステップ評価フレームワーク textbfFennec を提案する。
評価モデルにより誘導される微粒化補正機能を用いて、複数のモデル応答を洗練し、MT-Bench上の1-2点の改善をもたらす。
論文 参考訳（メタデータ） (2024-05-20T16:47:22Z) - AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models [34.82568259708465]
Allhandsは、自然言語インタフェースによる大規模なフィードバック分析のために設計された革新的な分析フレームワークである。
LLMは、精度、堅牢性、一般化、ユーザフレンドリー性を高める大きな言語モデルである。
Allhandsは、テキスト、コード、テーブル、イメージを含む、包括的なマルチモーダルレスポンスを提供する。
論文 参考訳（メタデータ） (2024-03-22T12:13:16Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - A Unified Neural Network Model for Readability Assessment with Feature
Projection and Length-Balanced Loss [17.213602354715956]
本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。
本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-10-19T05:33:27Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z) - Compression, Transduction, and Creation: A Unified Framework for
Evaluating Natural Language Generation [85.32991360774447]
自然言語生成(NLG)は幅広いタスクにまたがっており、それぞれが特定の目的のために機能する。
NLGタスクにおける情報変化の性質に基づく統一的な視点を提案する。
我々は,異なるNLGタスクの重要な側面を評価するのに適した,解釈可能なメトリクスのファミリーを開発する。
論文 参考訳（メタデータ） (2021-09-14T01:00:42Z) - Language Model Evaluation in Open-ended Text Generation [0.76146285961466]
本研究では,機械生成テキストの品質,多様性,一貫性を評価するために提案されている評価指標について検討する。
そこで我々は,オープン・エンド・ジェネレーション・タスクにおいて,言語モデルを評価するための実用的なパイプラインを提案する。
論文 参考訳（メタデータ） (2021-08-08T06:16:02Z) - Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。
本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。
適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文 参考訳（メタデータ） (2020-09-10T03:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。