Fugu-MT 論文翻訳(概要): Benchmarking Robustness of Machine Reading Comprehension Models

論文の概要: Benchmarking Robustness of Machine Reading Comprehension Models

arxiv url: http://arxiv.org/abs/2004.14004v2
Date: Wed, 26 May 2021 06:16:19 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 13:33:16.302455
Title: Benchmarking Robustness of Machine Reading Comprehension Models
Title（参考訳）: 機械読解モデルのベンチマークロバスト性
Authors: Chenglei Si, Ziqing Yang, Yiming Cui, Wentao Ma, Ting Liu, Shijin Wang
Abstract要約: 我々は,4種類の敵攻撃下でのMRCモデルのロバスト性を評価するためのモデルに依存しない新しいベンチマークAdvRACEを構築した。最新のSOTA(State-of-the-art)モデルがこれらすべての攻撃に対して脆弱であることを示す。我々は、より堅牢なMCCモデルを構築する余地があることを結論し、我々のベンチマークはこの分野の進歩を動機づけ、測定するのに役立ちます。
参考スコア（独自算出の注目度）: 29.659586787812106
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine Reading Comprehension (MRC) is an important testbed for evaluating models' natural language understanding (NLU) ability. There has been rapid progress in this area, with new models achieving impressive performance on various benchmarks. However, existing benchmarks only evaluate models on in-domain test sets without considering their robustness under test-time perturbations or adversarial attacks. To fill this important gap, we construct AdvRACE (Adversarial RACE), a new model-agnostic benchmark for evaluating the robustness of MRC models under four different types of adversarial attacks, including our novel distractor extraction and generation attacks. We show that state-of-the-art (SOTA) models are vulnerable to all of these attacks. We conclude that there is substantial room for building more robust MRC models and our benchmark can help motivate and measure progress in this area. We release our data and code at https://github.com/NoviScl/AdvRACE .
Abstract（参考訳）: Machine Reading Comprehension (MRC)は、モデルの自然言語理解能力を評価するための重要なテストベッドである。この分野は急速に進歩し、新しいモデルは様々なベンチマークで印象的なパフォーマンスを達成した。しかし、既存のベンチマークでは、テスト時の摂動や敵攻撃下での堅牢性を考慮せずにドメイン内テストセットのモデルを評価するのみである。この重要なギャップを埋めるために、我々は、新しいトラクタ抽出と生成攻撃を含む4つの異なる種類の敵攻撃の下で、MRCモデルの堅牢性を評価するための新しいモデル非依存ベンチマークであるAdvRACE(Adversarial RACE)を構築した。最新技術(SOTA)モデルはこれらの攻撃に対して脆弱であることを示す。我々は、より堅牢なMCCモデルを構築する余地があり、我々のベンチマークはこの分野の進歩を動機づけ、測定するのに役立ちます。データとコードはhttps://github.com/NoviScl/AdvRACE で公開しています。

関連論文リスト

MIBench: A Comprehensive Benchmark for Model Inversion Attack and Defense [43.71365087852274]
Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。包括的で整合性があり、信頼性の高いベンチマークが欠如していることは、非常に大きな課題である。この致命的なギャップに対処するため、モデル反転攻撃と防御のための最初の実用的なベンチマーク(textitMIBench)を紹介した。
論文参考訳（メタデータ） (2024-10-07T16:13:49Z)
On Evaluating Adversarial Robustness of Volumetric Medical Segmentation Models [59.45628259925441]
体積医学セグメンテーションモデルは、臓器および腫瘍ベースのセグメンテーションタスクにおいて大きな成功を収めた。敵の攻撃に対するその脆弱性はほとんど解明されていない。このことは、既存のモデルの堅牢性を調べることの重要性を浮き彫りにしている。
論文参考訳（メタデータ） (2024-06-12T17:59:42Z)
Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
論文参考訳（メタデータ） (2024-02-18T03:40:06Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
Evaluating the Robustness of Machine Reading Comprehension Models to Low Resource Entity Renaming [3.117224133280308]
MRCモデルのエンティティリネームへの堅牢性について検討する。我々は、国、人、国籍、場所、組織、都市といったタイプのエンティティを改名する。ベースモデルと比較して、大きなモデルは、新しいエンティティに対して比較的よく機能することがわかった。
論文参考訳（メタデータ） (2023-04-06T15:29:57Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)
Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space [10.418647759223964]
固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
論文参考訳（メタデータ） (2021-06-23T10:52:29Z)
A Comprehensive Evaluation Framework for Deep Model Robustness [44.20580847861682]
ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。彼らは敵の防御を動機付ける敵の例に弱い。本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
論文参考訳（メタデータ） (2021-01-24T01:04:25Z)
Voting based ensemble improves robustness of defensive models [82.70303474487105]
我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
論文参考訳（メタデータ） (2020-11-28T00:08:45Z)
RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文参考訳（メタデータ） (2020-10-19T17:06:18Z)
RAB: Provable Robustness Against Backdoor Attacks [20.702977915926787]
我々は、一般的な脅威モデル、特にバックドアアタックに対して、機械学習モデルの堅牢性を証明することに重点を置いている。トレーニングモデルをスムースにし,バックドア攻撃に対する堅牢性を証明するための,最初の堅牢なトレーニングプロセスであるRABを提案する。我々は、さまざまな機械学習(ML)モデルに対する包括的な実験を行い、バックドア攻撃に対する信頼性の高い堅牢性を示す最初のベンチマークを提供する。
論文参考訳（メタデータ） (2020-03-19T17:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。