論文の概要: DEFAME: Dynamic Evidence-based FAct-checking with Multimodal Experts

• arxiv url: http://arxiv.org/abs/2412.10510v1
• Date: Fri, 13 Dec 2024 19:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:31.103705
• Title: DEFAME: Dynamic Evidence-based FAct-checking with Multimodal Experts
• Title（参考訳）: DEFAME: 動的エビデンスに基づくマルチモーダルエキスパートによるファクトチェック
• Authors: Tobias Braun, Mark Rothermel, Marcus Rohrbach, Anna Rohrbach,
• Abstract要約: DEFAMEは、オープンドメイン、テキストイメージクレーム検証のためのゼロショットMLLMパイプラインである。 DEFAMEは、ファクトチェックの問題を6段階のプロセスとして表している。 画像によるクレームや、視覚的証拠を必要とするクレームを含む、事実チェックのエンドツーエンドの問題を解決する。
• 参考スコア（独自算出の注目度）: 35.952854524873246
• License:
• Abstract: The proliferation of disinformation presents a growing threat to societal trust and democracy, necessitating robust and scalable Fact-Checking systems. In this work, we present Dynamic Evidence-based FAct-checking with Multimodal Experts (DEFAME), a modular, zero-shot MLLM pipeline for open-domain, text-image claim verification. DEFAME frames the problem of fact-checking as a six-stage process, dynamically deciding about the usage of external tools for the retrieval of textual and visual evidence. In addition to the claim's veracity, DEFAME returns a justification accompanied by a comprehensive, multimodal fact-checking report. While most alternatives either focus on sub-tasks of fact-checking, lack explainability or are limited to text-only inputs, DEFAME solves the problem of fact-checking end-to-end, including claims with images or those that require visual evidence. Evaluation on the popular benchmarks VERITE, AVeriTeC, and MOCHEG shows that DEFAME surpasses all previous methods, establishing it as the new state-of-the-art fact-checking system.
• Abstract（参考訳）: 偽情報の拡散は、社会的信頼と民主主義への脅威が増大し、堅牢でスケーラブルなFact-Checkingシステムを必要としている。 本研究では,マルチモーダルエキスパートによる動的エビデンスに基づくFAct-checking(DEFAME)を提案する。 DEFAMEは6段階のプロセスとしてファクトチェックの問題を説明し、テキストおよび視覚的証拠の検索に外部ツールの使用を動的に決定する。 クレームの正確性に加えて、DEFAMEは包括的なマルチモーダルな事実チェックレポートを伴う正当化を返す。 ほとんどの代替手段は、ファクトチェックのサブタスク、説明可能性の欠如、テキストのみの入力に限られるが、DEFAMEは、イメージのクレームや視覚的証拠を必要とするものを含む、ファクトチェックのエンドツーエンドの問題を解決する。 人気のあるベンチマークであるVERITE、AVeriTeC、MOCHEGの評価は、DEFAMEがすべての従来の手法を超越し、最先端のファクトチェックシステムとして確立したことを示している。

関連論文リスト

• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)
• FIRE: Fact-checking with Iterative Retrieval and Verification [63.67320352038525]
  FIREはエビデンス検索とクレーム検証を反復的に統合する新しいフレームワークである。 大きな言語モデル(LLM)のコストを平均7.6倍、検索コストを16.5倍削減しながら、パフォーマンスが若干向上している。 これらの結果から,FIREは大規模ファクトチェック業務における適用を約束していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-17T06:44:18Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking [0.283600654802951]
  マルチモーダルデータセットからファクトチェックに有用なクレーム固有の要約を生成するために設計された要約モデルを提案する。 任意の長さの複数のモードから入力を処理できる動的知覚モデルを提案する。 提案手法は,MOCHEGデータセットのクレーム検証タスクにおいて,SOTAアプローチを4.6%向上させる。
  論文  参考訳（メタデータ） (2024-07-18T01:33:20Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• WeCheck: Strong Factual Consistency Checker via Weakly Supervised Learning [40.5830891229718]
  本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。 様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T08:04:36Z)
• End-to-End Multimodal Fact-Checking and Explanation Generation: A Challenging Dataset and Models [0.0]
  エンドツーエンドのファクトチェックと説明生成を提案する。 目標は、主張の真理性を評価することであり、関連する証拠を取得し、真理性ラベルを予測することである。 この研究を支援するために15,601クレームからなる大規模データセットであるMochegを構築した。
  論文  参考訳（メタデータ） (2022-05-25T04:36:46Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Logically at the Factify 2022: Multimodal Fact Verification [2.8914815569249823]
  本稿では,AAAI 2022におけるマルチモーダル事実検証(Factify)課題の参加者システムについて述べる。 アンサンブルモデルとマルチモーダルアテンションネットワークを含む2つのベースラインアプローチを提案し,検討した。 我々の最良モデルは、検証セットとテストセットの両方において、重み付き平均F値が0.77となるリーダーボードで第1位にランクされている。
  論文  参考訳（メタデータ） (2021-12-16T23:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。