論文の概要: INO at Factify 2: Structure Coherence based Multi-Modal Fact Verification

• arxiv url: http://arxiv.org/abs/2303.01510v1
• Date: Thu, 2 Mar 2023 11:18:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 17:24:10.441994
• Title: INO at Factify 2: Structure Coherence based Multi-Modal Fact Verification
• Title（参考訳）: INO at Factify 2: Structure Coherence based Multi-Modal Fact Verification
• Authors: Yinuo Zhang, Zhulin Tao, Xi Wang, Tongyue Wang
• Abstract要約: 疑似ニュースを分類する構造コヒーレンスに基づくマルチモーダル事実検証手法を提案する。 我々の重み付き平均F1スコアは0.8079に達し、FACTIFY2で2位となった。
• 参考スコア（独自算出の注目度）: 3.5408382050384883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes our approach to the multi-modal fact verification (FACTIFY) challenge at AAAI2023. In recent years, with the widespread use of social media, fake news can spread rapidly and negatively impact social security. Automatic claim verification becomes more and more crucial to combat fake news. In fact verification involving multiple modal data, there should be a structural coherence between claim and document. Therefore, we proposed a structure coherence-based multi-modal fact verification scheme to classify fake news. Our structure coherence includes the following four aspects: sentence length, vocabulary similarity, semantic similarity, and image similarity. Specifically, CLIP and Sentence BERT are combined to extract text features, and ResNet50 is used to extract image features. In addition, we also extract the length of the text as well as the lexical similarity. Then the features were concatenated and passed through the random forest classifier. Finally, our weighted average F1 score has reached 0.8079, achieving 2nd place in FACTIFY2.
• Abstract（参考訳）: 本稿では,AAAI2023におけるマルチモーダル事実検証(FACTIFY)へのアプローチについて述べる。 近年、ソーシャルメディアの普及に伴い、偽ニュースは急速に拡散し、社会保障に悪影響を及ぼす可能性がある。 自動クレーム検証は、フェイクニュースと戦うためにますます重要になる。 事実、複数のモーダルデータを含む検証では、クレームとドキュメントの間に構造的一貫性があるべきである。 そこで我々は,偽ニュースを分類する構造コヒーレンスに基づくマルチモーダル事実検証手法を提案する。 構造コヒーレンスには, 文長, 語彙的類似性, 意味的類似性, 画像的類似性という4つの側面がある。 具体的には、CLIPとSentence BERTを組み合わせてテキストの特徴を抽出し、ResNet50を使って画像の特徴を抽出する。 また,テキストの長さや語彙の類似性も抽出した。 そして、それらの特徴を連結し、ランダムな森林分類器を通した。 最後に、我々の重み付き平均F1スコアは0.8079に達し、FACTIFY2で2位となった。

関連論文リスト

• TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
  テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。 ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。 テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-03-07T13:16:24Z)
• Unified Coarse-to-Fine Alignment for Video-Text Retrieval [71.85966033484597]
  UCoFiAと呼ばれる統一粗粒配向モデルを提案する。 我々のモデルは、異なる粒度レベルで、モーダル間の類似情報をキャプチャする。 そこで,Sinkhorn-Knoppアルゴリズムを用いて各レベルの類似性を正規化し,それらを要約する。
  論文  参考訳（メタデータ） (2023-09-18T19:04:37Z)
• Findings of Factify 2: Multimodal Fake News Detection [36.34201719103715]
  本稿では,マルチモーダルな事実検証と風刺ニュースデータセットを提供するFactify 2共有タスクの結果を示す。 このデータでは,マルチモーダル関係に基づく5つのクラスに分けて,ソーシャルメディアの主張をテキストと画像の両方で支援文書と組み合わせることで,タスクに対する比較に基づくアプローチが求められている。 全5クラスの平均得点は81.82%であった。
  論文  参考訳（メタデータ） (2023-07-19T22:14:49Z)
• Factify 2: A Multimodal Fake News and Satire News Dataset [36.34201719103715]
  我々は、FACTIFY 2と呼ばれるマルチモーダルなファクトチェックデータセットを提供し、新しいデータソースを使用してFactify 1を改善し、風刺記事を追加する。 FACTIFY 1.0と同様に、私たちは3つの幅広いカテゴリ、すなわち、サポート、証拠なし、反響があり、視覚的およびテキスト的データの詳細に基づいたサブカテゴリがあります。 BERT と Vison Transformer ベースのベースラインも提供しています。
  論文  参考訳（メタデータ） (2023-04-08T03:14:19Z)
• IMCI: Integrate Multi-view Contextual Information for Fact Extraction and Verification [19.764122035213067]
  我々は,事実抽出と検証のために,多視点文脈情報(IMCI)を統合することを提案する。 FEVER 1.0共有タスクの実験結果から,IMCIフレームワークは事実抽出と検証の両面で大きな進歩を示している。
  論文  参考訳（メタデータ） (2022-08-30T05:57:34Z)
• Multimodal Fake News Detection with Adaptive Unimodal Representation Aggregation [28.564442206829625]
  AURAは、適応的な一助表現アグリゲーションを備えたマルチモーダルフェイクニュース検出ネットワークである。 我々は,一様および多様の表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。 WeiboとGossipcopの実験は、AURAがいくつかの最先端のFNDスキームに勝つことを証明している。
  論文  参考訳（メタデータ） (2022-06-12T14:06:55Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context Images via Online Resources [70.68526820807402]
  実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。 私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。 私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
  論文  参考訳（メタデータ） (2021-11-30T19:36:20Z)
• FiLMing Multimodal Sarcasm Detection with Attention [0.7340017786387767]
  サルカスムの検出は、意図された意味がその表面的な意味によって示されるものと異なる自然言語表現を特定する。 本稿では,入力テキストと画像属性のコンテキスト不整合を組み込むために,RoBERTaモデルとコアテンション層を用いた新しいアーキテクチャを提案する。 提案手法は,Twitterのマルチモーダル検出データセットの6.14%のF1スコアにおいて,既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-09T06:33:29Z)
• Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization [131.23966358405767]
  抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。 モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。 本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T17:32:33Z)
• LTIatCMU at SemEval-2020 Task 11: Incorporating Multi-Level Features for Multi-Granular Propaganda Span Identification [70.1903083747775]
  本稿では,新聞記事におけるプロパガンダ・スパン識別の課題について述べる。 本稿では,BERT-BiLSTMに基づくプロパガンダ分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-11T16:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。