論文の概要: Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources

• arxiv url: http://arxiv.org/abs/2112.00061v1
• Date: Tue, 30 Nov 2021 19:36:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:03:53.618383
• Title: Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources
• Title（参考訳）: オンラインリソースによるアウトオブコンテキスト画像のオープンドメイン・コンテンツベース・マルチモーダルファクトチェック
• Authors: Sahar Abdelnabi, Rakibul Hasan, Mario Fritz
• Abstract要約: 実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。 私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。 私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
• 参考スコア（独自算出の注目度）: 70.68526820807402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Misinformation is now a major problem due to its potential high risks to our core democratic and societal values and orders. Out-of-context misinformation is one of the easiest and effective ways used by adversaries to spread viral false stories. In this threat, a real image is re-purposed to support other narratives by misrepresenting its context and/or elements. The internet is being used as the go-to way to verify information using different sources and modalities. Our goal is an inspectable method that automates this time-consuming and reasoning-intensive process by fact-checking the image-caption pairing using Web evidence. To integrate evidence and cues from both modalities, we introduce the concept of 'multi-modal cycle-consistency check'; starting from the image/caption, we gather textual/visual evidence, which will be compared against the other paired caption/image, respectively. Moreover, we propose a novel architecture, Consistency-Checking Network (CCN), that mimics the layered human reasoning across the same and different modalities: the caption vs. textual evidence, the image vs. visual evidence, and the image vs. caption. Our work offers the first step and benchmark for open-domain, content-based, multi-modal fact-checking, and significantly outperforms previous baselines that did not leverage external evidence.
• Abstract（参考訳）: 私たちの中核的な民主的・社会的価値と秩序に対する潜在的なリスクのため、誤情報は現在大きな問題です。 文脈外誤情報(out-of-context misinformation)は、敵がバイラルな虚偽記事を広めるのに最も簡単かつ効果的な方法の1つである。 この脅威では、実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再使用される。 インターネットは、異なるソースやモダリティを使って情報を検証するための手段として使われています。 我々のゴールは、Webエビデンスを用いた画像キャプチャペアリングの事実チェックによって、この時間と推論集約プロセスを自動化する検査可能な方法である。 両モダリティからエビデンスと手がかりを統合するため、「マルチモーダルサイクル整合性チェック」という概念を導入し,画像・キャプションからテキスト・視覚的エビデンスを収集し,これらを比較検討する。 さらに, 文的証拠に対するキャプション, 視覚的証拠に対するイメージ, キャプション対キャプションという, 同一かつ異なるモダリティにまたがる階層的人間推論を模倣する新しいアーキテクチャ, 一貫性・チェッキングネットワーク(CCN)を提案する。 私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルファクトチェックのための最初のステップとベンチマークを提供し、外部の証拠を活用していない以前のベースラインを大幅に上回っています。

関連論文リスト

• "Image, Tell me your story!" Predicting the original meta-context of visual misinformation [70.52796410062876]
  オープンウェブから検索した画像の内容とテキスト証拠を用いて,画像を元のメタコンテキストにグラウンドする自動システムを導入する。 実験では,検索と推論におけるいくつかのオープンな課題を強調しながら,有望な結果を示した。
  論文  参考訳（メタデータ） (2024-08-19T12:21:34Z)
• Similarity over Factuality: Are we making progress on multimodal out-of-context misinformation detection? [15.66049149213069]
  アウト・オブ・コンテクスト(OOC)の誤報は、マルチモーダルな事実チェックにおいて重大な課題となる。 証拠に基づくOOC検出の最近の研究は、ますます複雑なアーキテクチャへと向かっている。 画像テキスト対と外部画像とテキストエビデンスとの類似性を評価する。
  論文  参考訳（メタデータ） (2024-07-18T13:08:55Z)
• Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
  条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。 本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。 理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:16Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• Support or Refute: Analyzing the Stance of Evidence to Detect Out-of-Context Mis- and Disinformation [13.134162427636356]
  ネット上の誤報や偽報が社会問題となっている。 誤情報や偽情報の1つの一般的な形態は、文脈外情報(OOC)である。 マルチモーダルな証拠の異なる部分のスタンスを抽出できるスタンス抽出ネットワーク(SEN)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:05:54Z)
• A Multi-Modal Context Reasoning Approach for Conditional Inference on Joint Textual and Visual Clues [23.743431157431893]
  共同文と視覚的手がかりの条件推論は多モーダル推論タスクである。 我々はModCRというマルチモーダルコンテキスト推論手法を提案する。 2つの対応するデータセットに対して広範囲な実験を行い、実験結果により性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-05-08T08:05:40Z)
• Interpretable Detection of Out-of-Context Misinformation with Neural-Symbolic-Enhanced Large Multimodal Model [16.348950072491697]
  誤報の作者は、ニュース検出システムや偽ニュースを騙すために、マルチメディア以外のコンテンツを使う傾向が強まっている。 この新たなタイプの誤報は、検出だけでなく、個々のモダリティが真の情報に十分近いため、明確化の難しさも増す。 本稿では,不一致のペアと相互の矛盾を同時に識別する,解釈可能なクロスモーダル・デコンテクスト化検出を実現する方法について検討する。
  論文  参考訳（メタデータ） (2023-04-15T21:11:55Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• Consensus-Aware Visual-Semantic Embedding for Image-Text Matching [69.34076386926984]
  画像テキストマッチングは、視覚と言語をブリッジする上で中心的な役割を果たす。 既存のアプローチのほとんどは、表現を学ぶためにイメージテキストインスタンスペアのみに依存しています。 コンセンサスを意識したビジュアル・セマンティック・エンベディングモデルを提案し,コンセンサス情報を組み込む。
  論文  参考訳（メタデータ） (2020-07-17T10:22:57Z)
• Learning Transformation-Aware Embeddings for Image Forensics [15.484408315588569]
  Image Provenance Analysisは、コンテンツを共有するさまざまな操作されたイメージバージョン間の関係を見つけることを目的としている。 証明分析のための主要なサブプロブレムの1つは、完全なコンテンツを共有したり、ほぼ重複している画像の編集順序である。 本稿では,1つの画像から生成した画像に対して,変換を通じて妥当な順序付けを行うための,新しい深層学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-13T22:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。