論文の概要: Attacking Open-domain Question Answering by Injecting Misinformation
- arxiv url: http://arxiv.org/abs/2110.07803v3
- Date: Tue, 19 Sep 2023 23:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 01:05:31.088890
- Title: Attacking Open-domain Question Answering by Injecting Misinformation
- Title(参考訳): 誤情報注入によるオープンドメイン質問応答の攻撃
- Authors: Liangming Pan, Wenhu Chen, Min-Yen Kan, William Yang Wang
- Abstract要約: 質問応答モデル(QA)に対する誤報のリスクについて,オープンドメインQAモデルの誤報文書に対する感度について検討した。
実験により、QAモデルは誤情報による少量の証拠汚染に対して脆弱であることが示されている。
質問応答と誤情報検出を統合した誤情報認識型QAシステムの構築の必要性について論じる。
- 参考スコア(独自算出の注目度): 116.25434773461465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With a rise in false, inaccurate, and misleading information in propaganda,
news, and social media, real-world Question Answering (QA) systems face the
challenges of synthesizing and reasoning over misinformation-polluted contexts
to derive correct answers. This urgency gives rise to the need to make QA
systems robust to misinformation, a topic previously unexplored. We study the
risk of misinformation to QA models by investigating the sensitivity of
open-domain QA models to corpus pollution with misinformation documents. We
curate both human-written and model-generated false documents that we inject
into the evidence corpus of QA models and assess the impact on the performance
of these systems. Experiments show that QA models are vulnerable to even small
amounts of evidence contamination brought by misinformation, with large
absolute performance drops on all models. Misinformation attack brings more
threat when fake documents are produced at scale by neural models or the
attacker targets hacking specific questions of interest. To defend against such
a threat, we discuss the necessity of building a misinformation-aware QA system
that integrates question-answering and misinformation detection in a joint
fashion.
- Abstract(参考訳): プロパガンダ、ニュース、ソーシャルメディアにおける偽情報、不正確な情報の増加に伴い、現実世界の質問回答(QA)システムは、誤った情報に汚染されたコンテキストを合成し、推論することで正しい回答を導き出すという課題に直面している。
この緊急性によって、QAシステムを誤った情報に対して堅牢にする必要がある。
本研究では,QAモデルに対する誤報のリスクについて,誤報文書による汚染をコーパスするためのオープンドメインQAモデルの感度について検討する。
我々は、QAモデルのエビデンスコーパスに注入する人書きとモデル生成の両方の偽文書をキュレートし、これらのシステムの性能に与える影響を評価する。
実験により、QAモデルは誤情報による少量の証拠汚染に対して脆弱であり、全てのモデルに絶対的な性能低下があることが示された。
偽のドキュメントがニューラルネットワークによって大規模に生成される場合や、攻撃者が特定の質問をハッキングする場合には、誤った情報攻撃はより脅威をもたらす。
このような脅威に対して,質問応答と誤情報検出を連立で統合する誤情報認識型QAシステムの構築の必要性を論じる。
関連論文リスト
- InfoLossQA: Characterizing and Recovering Information Loss in Text
Simplification [62.61201551494709]
本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
論文 参考訳(メタデータ) (2024-01-29T19:00:01Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - Reinforcement Learning-based Counter-Misinformation Response Generation:
A Case Study of COVID-19 Vaccine Misinformation [19.245814221211415]
非熟練の一般ユーザーは、偽情報に対して積極的に対応している。
本研究では、誤情報と反誤情報応答のペアの2つの新しいデータセットを作成する。
我々は,反情報応答を学習する強化学習に基づくフレームワークであるMisinfoCorrectを提案する。
論文 参考訳(メタデータ) (2023-03-11T15:55:01Z) - Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against
Fact-Verification Systems [80.3811072650087]
証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。
この攻撃は、主張のポストホックな修正に対しても堅牢である。
これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2022-09-07T13:39:24Z) - Explaining RADAR features for detecting spoofing attacks in Connected
Autonomous Vehicles [2.8153045998456188]
コネクテッド・自動運転車(CAV)は、サイバー攻撃から守るためのAIシステムが組み込まれていると期待されている。
機械学習(ML)モデルは、このようなAIシステムの基盤となる。
本稿では,センサ入力におけるテキストの不確かさとテキスト不確かさを説明するモデルを提案する。
論文 参考訳(メタデータ) (2022-03-01T00:11:46Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳(メタデータ) (2022-02-18T19:01:01Z) - Mining Fine-grained Semantics via Graph Neural Networks for
Evidence-based Fake News Detection [20.282527436527765]
本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。
我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。
文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
論文 参考訳(メタデータ) (2022-01-18T11:28:36Z) - Zero-shot Fact Verification by Claim Generation [85.27523983027471]
我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。
われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。
ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
論文 参考訳(メタデータ) (2021-05-31T03:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。