論文の概要: Multimodal Fact Checking with Unified Visual, Textual, and Contextual Representations

• arxiv url: http://arxiv.org/abs/2508.05097v1
• Date: Thu, 07 Aug 2025 07:36:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 21:11:55.666124
• Title: Multimodal Fact Checking with Unified Visual, Textual, and Contextual Representations
• Title（参考訳）: 統一視覚, テキスト, 文脈表現を用いたマルチモーダルファクトチェック
• Authors: Aditya Kishore, Gaurav Kumar, Jasabanta Patro,
• Abstract要約: 我々は"MultiCheck"と呼ばれる微細なマルチモーダル事実検証のための統一的なフレームワークを提案する。 我々のアーキテクチャは、テキストと画像のための専用エンコーダと、要素間相互作用を用いた相互関係をキャプチャする融合モジュールを組み合わせる。 我々はFactify 2データセットに対する我々のアプローチを評価し、F1の重み付けスコア0.84を達成し、ベースラインを大幅に上回った。
• 参考スコア（独自算出の注目度）: 2.139909491081949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing rate of multimodal misinformation, where claims are supported by both text and images, poses significant challenges to fact-checking systems that rely primarily on textual evidence. In this work, we have proposed a unified framework for fine-grained multimodal fact verification called "MultiCheck", designed to reason over structured textual and visual signals. Our architecture combines dedicated encoders for text and images with a fusion module that captures cross-modal relationships using element-wise interactions. A classification head then predicts the veracity of a claim, supported by a contrastive learning objective that encourages semantic alignment between claim-evidence pairs in a shared latent space. We evaluate our approach on the Factify 2 dataset, achieving a weighted F1 score of 0.84, substantially outperforming the baseline. These results highlight the effectiveness of explicit multimodal reasoning and demonstrate the potential of our approach for scalable and interpretable fact-checking in complex, real-world scenarios.
• Abstract（参考訳）: テキストと画像の両方でクレームが支持されるマルチモーダル誤情報の増加は、主にテキスト証拠に依存するファクトチェックシステムに重大な課題をもたらす。 本研究では,構造化されたテキストおよび視覚信号について,より詳細なマルチモーダル事実検証のための統一的なフレームワーク"MultiCheck"を提案する。 我々のアーキテクチャは、テキストと画像のための専用エンコーダと、要素間相互作用を用いた相互関係をキャプチャする融合モジュールを組み合わせる。 そして、分類ヘッドは、共有潜在空間におけるクレームとエビデンスペア間のセマンティックアライメントを促進する対照的な学習目標によって支持されるクレームの正確性を予測する。 我々はFactify 2データセットに対する我々のアプローチを評価し、F1の重み付けスコア0.84を達成し、ベースラインを大幅に上回った。 これらの結果は、明示的なマルチモーダル推論の有効性を強調し、複雑な実世界のシナリオにおいて、スケーラブルで解釈可能なファクトチェックに対する我々のアプローチの可能性を示す。

関連論文リスト

• METER: Multi-modal Evidence-based Thinking and Explainable Reasoning -- Algorithm and Benchmark [48.78602579128459]
  本稿では,画像,ビデオ,音声,映像コンテンツにまたがる偽造検出のための統合ベンチマークMETERを紹介する。 我々のデータセットは4つのトラックから構成されており、それぞれのトラックは実際のvsフェイク分類だけでなく、エビデンスチェーンに基づく説明も必要である。
  論文  参考訳（メタデータ） (2025-07-22T03:42:51Z)
• Can Generated Images Serve as a Viable Modality for Text-Centric Multimodal Learning? [3.966028515034415]
  本研究は,テキスト・トゥ・イメージ(T2I)モデルにより生成した画像が,テキスト中心のタスクにおいて重要な相補的モダリティとして機能するかどうかを体系的に検討する。
  論文  参考訳（メタデータ） (2025-06-21T07:32:09Z)
• Point-RFT: Improving Multimodal Reasoning with Visually Grounded Reinforcement Finetuning [122.81815833343026]
  我々は、視覚的文書理解のために、視覚的に基底付けられたCoT推論を利用するように設計されたマルチモーダル推論フレームワークであるPoint-RFTを紹介した。 提案手法は2つの段階から構成される: まず、71Kの多様な視覚的推論問題からなるキュレートされたデータセットを用いてフォーマットの微調整を行い、それぞれが対応する視覚的要素に明示的に基づいた詳細なステップ・バイ・ステップの合理性でアノテートする。 ChartQAでは,テキストベースCoTのみに依存した強化微調整による精度83.92%を超え,精度を70.88%(言語微細化ベースライン)から90.04%に向上させる。
  論文  参考訳（メタデータ） (2025-05-26T08:54:14Z)
• WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge [73.76722241704488]
  大規模視覚言語モデル(LVLM)から引き起こされる文脈的世界知識を利用してマルチモーダル感情分析を行うプラグインフレームワークWisdoMを提案する。 我々の手法は、いくつかの最先端手法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-01-12T16:08:07Z)
• Disentangling Multi-view Representations Beyond Inductive Bias [32.15900989696017]
  本稿では,表現の解釈可能性と一般化性を両立させる新しい多視点表現分離手法を提案する。 提案手法は,クラスタリングと分類性能において,12種類の比較手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T09:09:28Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
  本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。 我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-05-25T15:26:13Z)
• A Multi-Modal Context Reasoning Approach for Conditional Inference on Joint Textual and Visual Clues [23.743431157431893]
  共同文と視覚的手がかりの条件推論は多モーダル推論タスクである。 我々はModCRというマルチモーダルコンテキスト推論手法を提案する。 2つの対応するデータセットに対して広範囲な実験を行い、実験結果により性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-05-08T08:05:40Z)
• End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models [0.0]
  エンドツーエンドのファクトチェックと説明生成を提案する。 目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。 この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
  論文  参考訳（メタデータ） (2022-05-25T04:36:46Z)
• Logically at the Factify 2022: Multimodal Fact Verification [2.8914815569249823]
  本稿では,AAAI 2022におけるマルチモーダル事実検証(Factify)課題の参加者システムについて述べる。 アンサンブルモデルとマルチモーダルアテンションネットワークを含む2つのベースラインアプローチを提案し,検討した。 我々の最良モデルは、検証セットとテストセットの両方において、重み付き平均F値が0.77となるリーダーボードで第1位にランクされている。
  論文  参考訳（メタデータ） (2021-12-16T23:34:07Z)
• Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources [70.68526820807402]
  実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。 私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。 私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
  論文  参考訳（メタデータ） (2021-11-30T19:36:20Z)
• Universal Weighting Metric Learning for Cross-Modal Matching [79.32133554506122]
  クロスモーダルマッチングは、視覚領域と言語領域の両方において、注目すべき研究トピックである。 クロスモーダルマッチングのためのシンプルで解釈可能な普遍重み付けフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-07T13:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。