論文の概要: Attacking Open-domain Question Answering by Injecting Misinformation

• arxiv url: http://arxiv.org/abs/2110.07803v3
• Date: Tue, 19 Sep 2023 23:47:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 01:05:31.088890
• Title: Attacking Open-domain Question Answering by Injecting Misinformation
• Title（参考訳）: 誤情報注入によるオープンドメイン質問応答の攻撃
• Authors: Liangming Pan, Wenhu Chen, Min-Yen Kan, William Yang Wang
• Abstract要約: 質問応答モデル(QA)に対する誤報のリスクについて,オープンドメインQAモデルの誤報文書に対する感度について検討した。 実験により、QAモデルは誤情報による少量の証拠汚染に対して脆弱であることが示されている。 質問応答と誤情報検出を統合した誤情報認識型QAシステムの構築の必要性について論じる。
• 参考スコア（独自算出の注目度）: 116.25434773461465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With a rise in false, inaccurate, and misleading information in propaganda, news, and social media, real-world Question Answering (QA) systems face the challenges of synthesizing and reasoning over misinformation-polluted contexts to derive correct answers. This urgency gives rise to the need to make QA systems robust to misinformation, a topic previously unexplored. We study the risk of misinformation to QA models by investigating the sensitivity of open-domain QA models to corpus pollution with misinformation documents. We curate both human-written and model-generated false documents that we inject into the evidence corpus of QA models and assess the impact on the performance of these systems. Experiments show that QA models are vulnerable to even small amounts of evidence contamination brought by misinformation, with large absolute performance drops on all models. Misinformation attack brings more threat when fake documents are produced at scale by neural models or the attacker targets hacking specific questions of interest. To defend against such a threat, we discuss the necessity of building a misinformation-aware QA system that integrates question-answering and misinformation detection in a joint fashion.
• Abstract（参考訳）: プロパガンダ、ニュース、ソーシャルメディアにおける偽情報、不正確な情報の増加に伴い、現実世界の質問回答(QA)システムは、誤った情報に汚染されたコンテキストを合成し、推論することで正しい回答を導き出すという課題に直面している。 この緊急性によって、QAシステムを誤った情報に対して堅牢にする必要がある。 本研究では,QAモデルに対する誤報のリスクについて,誤報文書による汚染をコーパスするためのオープンドメインQAモデルの感度について検討する。 我々は、QAモデルのエビデンスコーパスに注入する人書きとモデル生成の両方の偽文書をキュレートし、これらのシステムの性能に与える影響を評価する。 実験により、QAモデルは誤情報による少量の証拠汚染に対して脆弱であり、全てのモデルに絶対的な性能低下があることが示された。 偽のドキュメントがニューラルネットワークによって大規模に生成される場合や、攻撃者が特定の質問をハッキングする場合には、誤った情報攻撃はより脅威をもたらす。 このような脅威に対して,質問応答と誤情報検出を連立で統合する誤情報認識型QAシステムの構築の必要性を論じる。

関連論文リスト

• A RAG-Based Question-Answering Solution for Cyber-Attack Investigation and Attribution [2.2940141855172036]
  本稿では,サイバー攻撃の調査と帰属について,サイバーセキュリティの専門家に情報を提供するQAモデルとその応用について紹介する。 我々のQAモデルは、Large Language Model(LLM)とともに、検索拡張生成(RAG)技術に基づいています。 我々は、KBベースの、メタデータベースの、KBからの特定の文書、外部ソースベースの質問など、様々な種類の質問を用いて、QAモデルを検証、評価してきた。
  論文  参考訳（メタデータ） (2024-08-12T16:33:51Z)
• Crowd Intelligence for Early Misinformation Prediction on Social Media [29.494819549803772]
  本稿では,クラウドインテリジェンスに基づく早期誤報予測手法であるCROWDSHIELDを紹介する。 私たちは2つの次元(スタンスとクレーム)を捉えるためにQラーニングを採用しています。 我々は手動で誤情報検出を行うTwitterコーパスであるMISTを提案する。
  論文  参考訳（メタデータ） (2024-08-08T13:45:23Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
  本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。 QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
  論文  参考訳（メタデータ） (2024-01-29T19:00:01Z)
• Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems [80.3811072650087]
  証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。 この攻撃は、主張のポストホックな修正に対しても堅牢である。 これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-09-07T13:39:24Z)
• Explaining RADAR features for detecting spoofing attacks in Connected Autonomous Vehicles [2.8153045998456188]
  コネクテッド・自動運転車(CAV)は、サイバー攻撃から守るためのAIシステムが組み込まれていると期待されている。 機械学習(ML)モデルは、このようなAIシステムの基盤となる。 本稿では,センサ入力におけるテキストの不確かさとテキスト不確かさを説明するモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-01T00:11:46Z)
• Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
  本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。 これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。 偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
  論文  参考訳（メタデータ） (2022-02-18T19:01:01Z)
• Mining Fine-grained Semantics via Graph Neural Networks for Evidence-based Fake News Detection [20.282527436527765]
  本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。 我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。 文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
  論文  参考訳（メタデータ） (2022-01-18T11:28:36Z)
• Zero-shot Fact Verification by Claim Generation [85.27523983027471]
  我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。 われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。 ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
  論文  参考訳（メタデータ） (2021-05-31T03:13:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。