論文の概要: Adversarial Question Answering Robustness: A Multi-Level Error Analysis and Mitigation Study

• arxiv url: http://arxiv.org/abs/2601.02700v1
• Date: Tue, 06 Jan 2026 04:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.797568
• Title: Adversarial Question Answering Robustness: A Multi-Level Error Analysis and Mitigation Study
• Title（参考訳）: ロバスト性に答える逆問題:マルチレベルエラー解析と緩和研究
• Authors: Agniv Roy Choudhury, Vignesh Ponselvan Rajasingh,
• Abstract要約: 質問応答(QA)システムは、SQuADのような標準ベンチマークで印象的なパフォーマンスを達成するが、敵の例には弱いままである。 本研究は,AddSent逆数データセット上での変圧器モデルの逆数ロバスト性について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Question answering (QA) systems achieve impressive performance on standard benchmarks like SQuAD, but remain vulnerable to adversarial examples. This project investigates the adversarial robustness of transformer models on the AddSent adversarial dataset through systematic experimentation across model scales and targeted mitigation strategies. We perform comprehensive multi-level error analysis using five complementary categorization schemes, identifying negation confusion and entity substitution as the primary failure modes. Through systematic evaluation of adversarial fine-tuning ratios, we identify 80% clean + 20% adversarial data as optimal. Data augmentation experiments reveal a capacity bottleneck in small models. Scaling from ELECTRA-small (14M parameters) to ELECTRA-base (110M parameters) eliminates the robustness-accuracy trade-off, achieving substantial improvements on both clean and adversarial data. We implement three targeted mitigation strategies, with Entity-Aware contrastive learning achieving best performance: 89.89% AddSent Exact Match (EM) and 90.73% SQuAD EM, representing 94.9% closure of the adversarial gap. To our knowledge, this is the first work integrating comprehensive linguistic error analysis with Named Entity Recognition (NER)-guided contrastive learning for adversarial QA, demonstrating that targeted mitigation can achieve near-parity between clean and adversarial performance.
• Abstract（参考訳）: 質問応答(QA)システムは、SQuADのような標準ベンチマークで印象的なパフォーマンスを達成するが、敵の例には弱いままである。 本研究は,モデルスケールの体系的実験と目標緩和戦略を通じて,AddSent逆数データセット上のトランスフォーマーモデルの逆ロバスト性について検討する。 5つの相補的分類法を用いて総合的多段階誤差解析を行い、否定的混乱とエンティティ置換を一次故障モードとして同定する。 敵の微調整比を体系的に評価することにより、80%クリーン + 20% 敵のデータを最適に識別する。 データ拡張実験は、小さなモデルにおけるキャパシティボトルネックを明らかにします。 ELECTRA-small (14Mパラメータ)からELECTRA-base (110Mパラメータ)へのスケーリングは、ロバストネスと精度のトレードオフを排除し、クリーンデータと逆データの両方を大幅に改善する。 89.89%のAddSent Exact Match (EM) と90.73%のSQuAD EMの3つの目標緩和戦略を実装した。 我々の知る限り、これは包括的言語的誤り解析をNER(Nond Entity Recognition)誘導型コントラスト学習と統合した最初の研究であり、標的緩和がクリーンな性能と対向的な性能のほぼ一致を達成できることを実証している。

関連論文リスト

• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。 HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。 我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
  論文  参考訳（メタデータ） (2025-07-12T01:58:04Z)
• Sampling-aware Adversarial Attacks Against Large Language Models [52.30089653615172]
  既存の敵攻撃は、通常、単一点の欲望世代において有害な反応を標的とする。 本研究では,有害な応答を抽出する目的のために,攻撃時のモデル出力の繰り返しサンプリングを行う。 既存の攻撃にサンプリングを統合することで、成功率が最大37%向上し、最大2桁の効率が向上することを示す。
  論文  参考訳（メタデータ） (2025-07-06T16:13:33Z)
• A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection [13.109309606764754]
  我々は、ターゲットモデル自体の内部の階層的不整合を利用するプラグイン検出フレームワークを導入する。 本手法は計算オーバーヘッドを無視して最先端検出性能を実現する。
  論文  参考訳（メタデータ） (2025-05-19T00:48:53Z)
• Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
  本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。 すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
  論文  参考訳（メタデータ） (2024-06-09T08:11:12Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
  ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。 これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。 本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
  論文  参考訳（メタデータ） (2022-07-29T22:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。