論文の概要: Multimodal Automated Fact-Checking: A Survey
- arxiv url: http://arxiv.org/abs/2305.13507v3
- Date: Wed, 25 Oct 2023 18:43:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 02:08:55.681006
- Title: Multimodal Automated Fact-Checking: A Survey
- Title(参考訳): マルチモーダル自動ファクトチェック:調査
- Authors: Mubashara Akhtar, Michael Schlichtkrull, Zhijiang Guo, Oana Cocarascu,
Elena Simperl, Andreas Vlachos
- Abstract要約: マルチモーダルな誤報は、人間がより信頼しやすく、テキストのみの誤報よりも速く拡散すると考えられている。
マルチモーダル誤報に特有のサブタスクを含む,自動ファクトチェック(AFC)のためのフレームワークを概念化する。
実世界のファクトチェックで一般的な4つのモダリティ(テキスト、画像、オーディオ、ビデオ)に焦点を当てる。
- 参考スコア(独自算出の注目度): 20.533353006768497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Misinformation is often conveyed in multiple modalities, e.g. a miscaptioned
image. Multimodal misinformation is perceived as more credible by humans, and
spreads faster than its text-only counterparts. While an increasing body of
research investigates automated fact-checking (AFC), previous surveys mostly
focus on text. In this survey, we conceptualise a framework for AFC including
subtasks unique to multimodal misinformation. Furthermore, we discuss related
terms used in different communities and map them to our framework. We focus on
four modalities prevalent in real-world fact-checking: text, image, audio, and
video. We survey benchmarks and models, and discuss limitations and promising
directions for future research
- Abstract(参考訳): 誤報はしばしば複数のモダリティ(例えば誤字画像)で伝えられる。
マルチモーダルな誤報は、人間がより信頼できると認識し、テキストのみの誤報よりも早く拡散する。
afc(automated fact-checking)を調査対象とする研究が増えているが、これまでの調査では主にテキストが中心だった。
本研究では,マルチモーダル情報に特有のサブタスクを含むafcのフレームワークを概念化する。
さらに、異なるコミュニティで使われる関連用語を議論し、それらを我々のフレームワークにマッピングする。
実世界のファクトチェックでは,テキスト,画像,音声,ビデオという4つのモダリティに注目した。
我々はベンチマークとモデルを調査し、今後の研究の限界と将来的な方向性について議論する
関連論文リスト
- Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。
MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。
本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-06T11:32:41Z) - Multi-modal Stance Detection: New Datasets and Model [56.97470987479277]
テキストと画像からなるツイートに対するマルチモーダル姿勢検出について検討する。
我々は、シンプルで効果的なマルチモーダル・プロンプト・チューニング・フレームワーク(TMPT)を提案する。
TMPTはマルチモーダル姿勢検出における最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-22T05:24:19Z) - Asking Multimodal Clarifying Questions in Mixed-Initiative
Conversational Search [89.1772985740272]
混合開始型会話検索システムでは、質問を明確にすることで、意図を単一のクエリで表現するのに苦労するユーザを支援する。
マルチモーダル情報が関係するシナリオでは、非テクスチャ情報を用いることで、明確化のプロセスを改善することができると仮定する。
質問を明確にする4k以上のマルチモーダルを含むMelonというデータセットを収集し、14k以上の画像で濃縮する。
クエリの明確化フェーズにおけるマルチモーダルコンテンツの重要性を理解するために,いくつかの解析を行った。
論文 参考訳(メタデータ) (2024-02-12T16:04:01Z) - Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。
DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。
本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
論文 参考訳(メタデータ) (2023-09-25T15:05:46Z) - MM-Claims: A Dataset for Multimodal Claim Detection in Social Media [7.388174516838141]
我々は、COVID-19、気候変動、幅広い技術という3つのトピックについて、ツイートと対応する画像からなる新しいデータセットMM-Claimsを紹介した。
本稿では,このデータセットを詳細に記述し,強い単調およびマルチモーダルのベースラインを評価し,現在のモデルの可能性と欠点を解析する。
論文 参考訳(メタデータ) (2022-05-04T10:43:58Z) - Logically at the Factify 2022: Multimodal Fact Verification [2.8914815569249823]
本稿では,AAAI 2022におけるマルチモーダル事実検証(Factify)課題の参加者システムについて述べる。
アンサンブルモデルとマルチモーダルアテンションネットワークを含む2つのベースラインアプローチを提案し,検討した。
我々の最良モデルは、検証セットとテストセットの両方において、重み付き平均F値が0.77となるリーダーボードで第1位にランクされている。
論文 参考訳(メタデータ) (2021-12-16T23:34:07Z) - Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context
Images via Online Resources [70.68526820807402]
実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。
私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。
私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
論文 参考訳(メタデータ) (2021-11-30T19:36:20Z) - WebQA: Multihop and Multimodal QA [49.683300706718136]
自然言語とコンピュータビジョンのギャップをWebQAで埋めることを提案する。
我々の課題は、ソースのモダリティに関係なくシームレスに遷移し、理由を与える統一されたマルチモーダル推論モデルを作ることです。
論文 参考訳(メタデータ) (2021-09-01T19:43:59Z) - On the Role of Images for Analyzing Claims in Social Media [3.8142537449670963]
本稿では,クレーム,クレームチェック性,共謀検出の課題に対する視覚的,テキスト的,マルチモーダルモデルに関する実証研究を行う。
最近の研究は、画像はテキストよりも影響力があり、しばしば偽のテキストと共に現れることを示唆している。
論文 参考訳(メタデータ) (2021-03-17T12:40:27Z) - A Survey on Multimodal Disinformation Detection [33.89798158570927]
様々なモダリティの組み合わせをカバーするマルチモーダル情報検出技術について検討する。
複数のモダリティを考慮し、事実と有害性を考慮し、偽情報検出に取り組む必要性を論じる。
論文 参考訳(メタデータ) (2021-03-13T18:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。