論文の概要: Robustness Gym: Unifying the NLP Evaluation Landscape
- arxiv url: http://arxiv.org/abs/2101.04840v1
- Date: Wed, 13 Jan 2021 02:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 08:09:19.740267
- Title: Robustness Gym: Unifying the NLP Evaluation Landscape
- Title（参考訳）: Robustness Gym: NLP評価ランドスケープの統合
- Authors: Karan Goel, Nazneen Rajani, Jesse Vig, Samson Tan, Jason Wu, Stephan
Zheng, Caiming Xiong, Mohit Bansal, Christopher R\'e
- Abstract要約: ディープニューラルネットワークは、現実のシステムにデプロイすると脆くなることが多い。
最近の研究は、そのようなモデルの堅牢性をテストすることに重点を置いている。
単純かつ評価可能なツールキットであるRobustness Gymの形で解を提案する。
- 参考スコア（独自算出の注目度）: 91.80175115162218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite impressive performance on standard benchmarks, deep neural networks
are often brittle when deployed in real-world systems. Consequently, recent
research has focused on testing the robustness of such models, resulting in a
diverse set of evaluation methodologies ranging from adversarial attacks to
rule-based data transformations. In this work, we identify challenges with
evaluating NLP systems and propose a solution in the form of Robustness Gym
(RG), a simple and extensible evaluation toolkit that unifies 4 standard
evaluation paradigms: subpopulations, transformations, evaluation sets, and
adversarial attacks. By providing a common platform for evaluation, Robustness
Gym enables practitioners to compare results from all 4 evaluation paradigms
with just a few clicks, and to easily develop and share novel evaluation
methods using a built-in set of abstractions. To validate Robustness Gym's
utility to practitioners, we conducted a real-world case study with a
sentiment-modeling team, revealing performance degradations of 18%+. To verify
that Robustness Gym can aid novel research analyses, we perform the first study
of state-of-the-art commercial and academic named entity linking (NEL) systems,
as well as a fine-grained analysis of state-of-the-art summarization models.
For NEL, commercial systems struggle to link rare entities and lag their
academic counterparts by 10%+, while state-of-the-art summarization models
struggle on examples that require abstraction and distillation, degrading by
9%+. Robustness Gym can be found at https://robustnessgym.com/
- Abstract（参考訳）: 標準ベンチマークでの印象的なパフォーマンスにもかかわらず、深層ニューラルネットワークは現実世界のシステムにデプロイすると不安定になることが多い。
その結果、近年の研究は、このようなモデルの堅牢性をテストすることに集中し、敵対的攻撃からルールベースのデータ変換まで、様々な評価手法を生み出した。
本研究では,NLPシステム評価における課題を特定し,サブポピュレーション,変換,評価セット,敵攻撃という4つの標準評価パラダイムを統一した,シンプルで拡張可能な評価ツールキットであるRobustness Gym (RG) の形でソリューションを提案する。
評価のための共通のプラットフォームを提供することで、ロバストネスジムは4つの評価パラダイムすべての結果をほんの数クリックで比較し、ビルトインされた抽象セットを使って新しい評価方法を簡単に開発し共有することができる。
実践者に対するロバストネスジムの有用性を検証するために,感情モデリングチームと実世界のケーススタディを行い,パフォーマンスが18%以上低下したことを明らかにした。
ロバストネス・ガイムが新しい研究分析に役立つことを検証するため、我々は最先端の商業的および学術的な名前付きエンティティリンク(NEL)システムの研究と、最先端の要約モデルのきめ細かい分析を行う。
nelの場合、商用システムはレアエンティティのリンクに苦労し、学術的なエンティティの10%以上遅れるが、最先端の要約モデルは抽象化と蒸留を必要とする例で苦労し、9%以上低下する。
Robustness Gymはhttps://robustnessgym.com/にある。
関連論文リスト
- From Adversarial Arms Race to Model-centric Evaluation: Motivating a
Unified Automatic Robustness Evaluation Framework [91.94389491920309]
テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。
既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。
我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-29T14:55:20Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳（メタデータ） (2023-04-19T11:07:43Z) - Resisting Adversarial Attacks in Deep Neural Networks using Diverse
Decision Boundaries [12.312877365123267]
深層学習システムは、人間の目には認識できないが、モデルが誤分類される可能性がある、人工的な敵の例に弱い。
我々は,オリジナルモデルに対する多様な決定境界を持つディフェンダーモデルを構築するための,アンサンブルに基づく新しいソリューションを開発した。
我々は、MNIST、CIFAR-10、CIFAR-100といった標準画像分類データセットを用いて、最先端の敵攻撃に対する広範な実験を行った。
論文 参考訳（メタデータ） (2022-08-18T08:19:26Z) - FLEX: Unifying Evaluation for Few-Shot NLP [17.425495611344786]
我々はデシデラタを理想的な数ショットのNLPベンチマークとして定式化する。
最初のベンチマーク、公開リーダボード、フレームワークであるFLEXを紹介します。
また、数ショット学習のためのシンプルだが強力なプロンプトベースモデルであるUniFewも紹介する。
論文 参考訳（メタデータ） (2021-07-15T07:37:06Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-02-20T03:29:20Z) - A Comprehensive Evaluation Framework for Deep Model Robustness [44.20580847861682]
ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。
彼らは敵の防御を動機付ける敵の例に弱い。
本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-24T01:04:25Z) - RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文 参考訳（メタデータ） (2020-10-19T17:06:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。