論文の概要: ContraQA: Question Answering under Contradicting Contexts
- arxiv url: http://arxiv.org/abs/2110.07803v1
- Date: Fri, 15 Oct 2021 01:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 12:12:17.822794
- Title: ContraQA: Question Answering under Contradicting Contexts
- Title(参考訳): ContraQA: コンテクストにおける質問応答
- Authors: Liangming Pan, Wenhu Chen, Min-Yen Kan, William Yang Wang
- Abstract要約: 矛盾する文脈下でのQAモデルの振る舞いを調査し,QAモデルに対する誤報のリスクについて検討する。
質問応答と誤情報検出を統合した対応策として,誤情報認識型QAシステムを構築した。
- 参考スコア(独自算出の注目度): 85.98227092098318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With a rise in false, inaccurate, and misleading information in propaganda,
news, and social media, real-world Question Answering (QA) systems face the
challenges of synthesizing and reasoning over contradicting information to
derive correct answers. This urgency gives rise to the need to make QA systems
robust to misinformation, a topic previously unexplored. We study the risk of
misinformation to QA models by investigating the behavior of the QA model under
contradicting contexts that are mixed with both real and fake information. We
create the first large-scale dataset for this problem, namely Contra-QA, which
contains over 10K human-written and model-generated contradicting pairs of
contexts. Experiments show that QA models are vulnerable under contradicting
contexts brought by misinformation. To defend against such a threat, we build a
misinformation-aware QA system as a counter-measure that integrates question
answering and misinformation detection in a joint fashion.
- Abstract(参考訳): プロパガンダ、ニュース、ソーシャルメディアにおける偽情報、不正確な情報の増加に伴い、現実世界の質問回答(QA)システムは、矛盾する情報を合成し、推論することで正しい回答を導き出すという課題に直面している。
この緊急性によって、QAシステムを誤った情報に対して堅牢にする必要がある。
実情報と偽情報の両方に混ざった矛盾する文脈下でのQAモデルの振る舞いを調査することにより,QAモデルに対する誤情報リスクについて検討する。
この問題に対する最初の大規模なデータセット、すなわちContra-QAを作成します。
実験により、QAモデルは誤った情報によってもたらされる矛盾する状況下で脆弱であることが示された。
このような脅威に対して,質問応答と誤情報検出を協調的に統合する対策として,誤情報認識型QAシステムを構築する。
関連論文リスト
- A RAG-Based Question-Answering Solution for Cyber-Attack Investigation and Attribution [2.2940141855172036]
本稿では,サイバー攻撃の調査と帰属について,サイバーセキュリティの専門家に情報を提供するQAモデルとその応用について紹介する。
我々のQAモデルは、Large Language Model(LLM)とともに、検索拡張生成(RAG)技術に基づいています。
我々は、KBベースの、メタデータベースの、KBからの特定の文書、外部ソースベースの質問など、様々な種類の質問を用いて、QAモデルを検証、評価してきた。
論文 参考訳(メタデータ) (2024-08-12T16:33:51Z) - Crowd Intelligence for Early Misinformation Prediction on Social Media [29.494819549803772]
本稿では,クラウドインテリジェンスに基づく早期誤報予測手法であるCROWDSHIELDを紹介する。
私たちは2つの次元(スタンスとクレーム)を捉えるためにQラーニングを採用しています。
我々は手動で誤情報検出を行うTwitterコーパスであるMISTを提案する。
論文 参考訳(メタデータ) (2024-08-08T13:45:23Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳(メタデータ) (2024-06-05T12:11:10Z) - InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
論文 参考訳(メタデータ) (2024-01-29T19:00:01Z) - Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against
Fact-Verification Systems [80.3811072650087]
証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。
この攻撃は、主張のポストホックな修正に対しても堅牢である。
これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2022-09-07T13:39:24Z) - Explaining RADAR features for detecting spoofing attacks in Connected
Autonomous Vehicles [2.8153045998456188]
コネクテッド・自動運転車(CAV)は、サイバー攻撃から守るためのAIシステムが組み込まれていると期待されている。
機械学習(ML)モデルは、このようなAIシステムの基盤となる。
本稿では,センサ入力におけるテキストの不確かさとテキスト不確かさを説明するモデルを提案する。
論文 参考訳(メタデータ) (2022-03-01T00:11:46Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳(メタデータ) (2022-02-18T19:01:01Z) - Mining Fine-grained Semantics via Graph Neural Networks for
Evidence-based Fake News Detection [20.282527436527765]
本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。
我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。
文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
論文 参考訳(メタデータ) (2022-01-18T11:28:36Z) - Zero-shot Fact Verification by Claim Generation [85.27523983027471]
我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。
われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。
ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
論文 参考訳(メタデータ) (2021-05-31T03:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。