論文の概要: "Image, Tell me your story!" Predicting the original meta-context of visual misinformation

• arxiv url: http://arxiv.org/abs/2408.09939v1
• Date: Mon, 19 Aug 2024 12:21:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:24:38.637952
• Title: "Image, Tell me your story!" Predicting the original meta-context of visual misinformation
• Title（参考訳）: 「画像、あなたの話を聞かせて!」視覚的誤報の本来のメタコンテキストを予言する
• Authors: Jonathan Tonglet, Marie-Francine Moens, Iryna Gurevych,
• Abstract要約: オープンウェブから検索した画像の内容とテキスト証拠を用いて,画像を元のメタコンテキストにグラウンドする自動システムを導入する。 実験では,検索と推論におけるいくつかのオープンな課題を強調しながら,有望な結果を示した。
• 参考スコア（独自算出の注目度）: 70.52796410062876
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: To assist human fact-checkers, researchers have developed automated approaches for visual misinformation detection. These methods assign veracity scores by identifying inconsistencies between the image and its caption, or by detecting forgeries in the image. However, they neglect a crucial point of the human fact-checking process: identifying the original meta-context of the image. By explaining what is actually true about the image, fact-checkers can better detect misinformation, focus their efforts on check-worthy visual content, engage in counter-messaging before misinformation spreads widely, and make their explanation more convincing. Here, we fill this gap by introducing the task of automated image contextualization. We create 5Pils, a dataset of 1,676 fact-checked images with question-answer pairs about their original meta-context. Annotations are based on the 5 Pillars fact-checking framework. We implement a first baseline that grounds the image in its original meta-context using the content of the image and textual evidence retrieved from the open web. Our experiments show promising results while highlighting several open challenges in retrieval and reasoning. We make our code and data publicly available.
• Abstract（参考訳）: 人間のファクトチェックを支援するために、研究者たちは視覚的誤情報検出のための自動アプローチを開発した。 これらの方法は、画像とキャプションの矛盾を識別したり、画像中の偽物を検出することによって、精度スコアを割り当てる。 しかし、人間のファクトチェックプロセスの重要な点は無視され、画像の本来のメタコンテキストが特定される。 画像について実際に何が真実であるかを説明することで、ファクトチェッカーは誤情報を検知し、価値のあるビジュアルコンテンツに集中し、誤情報が広まる前にカウンターメッセージに取り組み、説明をより説得力のあるものにすることができる。 ここでは、自動画像文脈化のタスクを導入することで、このギャップを埋める。 この5Pilsは、1,676枚のファクトチェックされた画像のデータセットで、元のメタコンテキストに関する質問と回答のペアを作ります。 アノテーションは5 Pillarsのファクトチェックフレームワークに基づいている。 オープンウェブから検索した画像の内容とテキストによる証拠を用いて,画像を元のメタコンテキストに基盤とする第1のベースラインを実装した。 実験では,検索と推論におけるいくつかのオープンな課題を強調しながら,有望な結果を示した。 コードとデータを公開しています。

関連論文リスト

• COVE: COntext and VEracity prediction for out-of-context images [49.1574468325115]
  画像の真のCOntextを予測する新しい手法であるCOVEを導入し,それを用いてキャプションのVEracityを予測する。 COVEは、すべてのコンテキスト項目において、SOTAコンテキスト予測モデルを上回る。 合成データ上で最高の精度予測モデルと競合し、実世界のデータでそれらを上回る。
  論文  参考訳（メタデータ） (2025-02-03T09:33:58Z)
• Composed Image Retrieval for Remote Sensing [24.107610091033997]
  この研究は、合成画像検索をリモートセンシングに導入する。 テキスト記述で交互に画像例によって大きな画像アーカイブをクエリできる。 イメージ・ツー・イメージとテキスト・ツー・イメージの類似性を融合させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T14:18:31Z)
• Knowledge Mining with Scene Text for Fine-Grained Recognition [53.74297368412834]
  本研究では,シーンテキスト画像の背景にある暗黙的な文脈知識をマイニングする,エンドツーエンドのトレーニング可能なネットワークを提案する。 我々は,KnowBertを用いて意味表現の関連知識を検索し,それを画像特徴と組み合わせ,きめ細かい分類を行う。 本手法は,3.72%のmAPと5.39%のmAPをそれぞれ上回っている。
  論文  参考訳（メタデータ） (2022-03-27T05:54:00Z)
• Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources [70.68526820807402]
  実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。 私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。 私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
  論文  参考訳（メタデータ） (2021-11-30T19:36:20Z)
• NewsCLIPpings: Automatic Generation of Out-of-Context Multimodal Media [93.51739200834837]
  画像とテキストの両方を操作できないが一致しないデータセットを提案する。 本稿では,字幕に適した画像の自動検索手法をいくつか紹介する。 当社の大規模自動生成NewsCLIPpingsデータセットは、両方のモダリティを共同分析するモデルを必要とします。
  論文  参考訳（メタデータ） (2021-04-13T01:53:26Z)
• Content-Based Detection of Temporal Metadata Manipulation [91.34308819261905]
  画像の撮像時間とその内容と地理的位置とが一致しているかどうかを検証するためのエンドツーエンドのアプローチを提案する。 中心となる考え方は、画像の内容、キャプチャ時間、地理的位置が一致する確率を予測するための教師付き一貫性検証の利用である。 我々のアプローチは、大規模なベンチマークデータセットの以前の作業により改善され、分類精度が59.03%から81.07%に向上した。
  論文  参考訳（メタデータ） (2021-03-08T13:16:19Z)
• Catching Out-of-Context Misinformation with Self-supervised Learning [2.435006380732194]
  テキスト対とテキスト対を自動的に検出する新しい手法を提案する。 私たちのコアアイデアは、異なるソースから一致するキャプションを持つ画像のみを必要とする自己監督型のトレーニング戦略です。 本手法は82%のコンテキスト外検出精度を実現する。
  論文  参考訳（メタデータ） (2021-01-15T19:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。