論文の概要: Universal Evasion Attacks on Summarization Scoring

• arxiv url: http://arxiv.org/abs/2210.14260v1
• Date: Tue, 25 Oct 2022 18:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:04:01.047412
• Title: Universal Evasion Attacks on Summarization Scoring
• Title（参考訳）: 要約得点における普遍的回避攻撃
• Authors: Wenchuan Mu and Kwan Hui Lim
• Abstract要約: 回帰機械学習タスクの文脈で自動スコアリングを行う。 私たちはその頑丈さを探求するために脱出攻撃を実行します。 BERTScoreのバックドアが観測され、単純なトリガーは任意の自動要約方法よりも高いスコアを得られる。
• 参考スコア（独自算出の注目度）: 0.3121997724420106
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The automatic scoring of summaries is important as it guides the development of summarizers. Scoring is also complex, as it involves multiple aspects such as fluency, grammar, and even textual entailment with the source text. However, summary scoring has not been considered a machine learning task to study its accuracy and robustness. In this study, we place automatic scoring in the context of regression machine learning tasks and perform evasion attacks to explore its robustness. Attack systems predict a non-summary string from each input, and these non-summary strings achieve competitive scores with good summarizers on the most popular metrics: ROUGE, METEOR, and BERTScore. Attack systems also "outperform" state-of-the-art summarization methods on ROUGE-1 and ROUGE-L, and score the second-highest on METEOR. Furthermore, a BERTScore backdoor is observed: a simple trigger can score higher than any automatic summarization method. The evasion attacks in this work indicate the low robustness of current scoring systems at the system level. We hope that our highlighting of these proposed attacks will facilitate the development of summary scores.
• Abstract（参考訳）: 要約器の開発を導くため、要約の自動採点が重要である。 スコアリングも複雑で、フルーエンシー、文法、さらにはソーステキストへのテキストの重み付けなど、複数の側面が関係している。 しかし,要約スコアリングは,その正確性と堅牢性を研究するための機械学習タスクとは考えられていない。 本研究では,回帰機械学習タスクの文脈で自動スコアリングを行い,その頑健性を検討するために回避攻撃を行う。 攻撃システムは各入力から非終日文字列を予測し、これらの非終日文字列は最も一般的な指標であるROUGE、METEOR、BERTScoreで優れた要約器で競合スコアを得る。 攻撃システムはまた、ROUGE-1とROUGE-Lの最先端の要約手法を「性能」し、METEORでは2番目に高いスコアを得た。 さらに、bertscoreバックドアが観察され、単純なトリガーは任意の自動要約法よりも高いスコアを与えることができる。 この研究における回避攻撃は、システムレベルでの現在のスコアリングシステムのロバスト性が低いことを示す。 これらの攻撃を強調することで、要約スコアの開発が促進されることを願っています。

関連論文リスト

• Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection [3.609048819576875]
  我々は、エッセイを共同でスコア付けし、非トピックエッセイを検出する、教師なしのテクニックを提案している。 提案手法は,2つのエッセイ・スコリング・データセットに対して,作成したベースラインと従来手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-24T21:44:14Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Is Summary Useful or Not? An Extrinsic Human Evaluation of Text Summaries on Downstream Tasks [45.550554287918885]
  本稿では,外部手法によるテキスト要約の有用性の評価に焦点をあてる。 我々は,要約の人間的評価,すなわち質問応答,テキスト分類,テキスト類似性評価のための3つの異なる下流タスクを設計する。 要約はテキストの全体的判断に依存するタスクにおいて特に有用であるが、質問応答タスクでは効果が低い。
  論文  参考訳（メタデータ） (2023-05-24T11:34:39Z)
• Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
  本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。 最終事実度スコアは、調整可能なスコアリング機構により算出される。 英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
  論文  参考訳（メタデータ） (2023-05-22T17:59:42Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• How to Find Strong Summary Coherence Measures? A Toolbox and a Comparative Study for Summary Coherence Measure Evaluation [3.434197496862117]
  球面上での要約コヒーレンスモデリングのための様々な手法を大規模に検討する。 システム内相関とバイアス行列という2つの新しい分析尺度を導入し,コヒーレンス尺度のバイアスを識別し,システムレベルの共同設立者に対して堅牢性を提供する。 現在利用可能な自動コヒーレンス対策はいずれも、すべての評価指標にわたるシステム要約に信頼性の高いコヒーレンススコアを割り当てることはできないが、大規模言語モデルは、異なる要約の長さにわたって一般化する必要があることを考慮すれば、有望な結果を示す。
  論文  参考訳（メタデータ） (2022-09-14T09:42:19Z)
• A Tale of HodgeRank and Spectral Method: Target Attack Against Rank Aggregation Is the Fixed Point of Adversarial Game [153.74942025516853]
  ランクアグリゲーション手法の本質的な脆弱性は文献ではよく研究されていない。 本稿では,ペアデータの変更による集計結果の指定を希望する目的のある敵に焦点をあてる。 提案した標的攻撃戦略の有効性は,一連の玩具シミュレーションと実世界のデータ実験によって実証された。
  論文  参考訳（メタデータ） (2022-09-13T05:59:02Z)
• Detection of Adversarial Supports in Few-shot Classifiers Using Feature Preserving Autoencoders and Self-Similarity [89.26308254637702]
  敵対的なサポートセットを強調するための検出戦略を提案する。 我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。 提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
  論文  参考訳（メタデータ） (2020-12-09T14:13:41Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。