論文の概要: Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency

• arxiv url: http://arxiv.org/abs/2003.10421v2
• Date: Fri, 23 Oct 2020 09:22:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 00:33:28.217087
• Title: Multimodal Analytics for Real-world News using Measures of Cross-modal Entity Consistency
• Title（参考訳）: クロスモーダルエンティティ一貫性尺度を用いた実世界ニュースのマルチモーダル分析
• Authors: Eric M\"uller-Budack, Jonas Theiner, Sebastian Diering, Maximilian Idahl, Ralph Ewerth
• Abstract要約: 例えば、写真でテキストを豊かにするといったマルチモーダル情報は、ニュースをより効果的に伝達したり、注意を引くために使われる。 本稿では,実世界のニュースにおける相互整合性検証の新たな課題を紹介し,画像とテキスト間の実体的一貫性を定量化するためのマルチモーダルアプローチを提案する。
• 参考スコア（独自算出の注目度）: 8.401772200450417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The World Wide Web has become a popular source for gathering information and news. Multimodal information, e.g., enriching text with photos, is typically used to convey the news more effectively or to attract attention. Photo content can range from decorative, depict additional important information, or can even contain misleading information. Therefore, automatic approaches to quantify cross-modal consistency of entity representation can support human assessors to evaluate the overall multimodal message, for instance, with regard to bias or sentiment. In some cases such measures could give hints to detect fake news, which is an increasingly important topic in today's society. In this paper, we introduce a novel task of cross-modal consistency verification in real-world news and present a multimodal approach to quantify the entity coherence between image and text. Named entity linking is applied to extract persons, locations, and events from news texts. Several measures are suggested to calculate cross-modal similarity for these entities using state of the art approaches. In contrast to previous work, our system automatically gathers example data from the Web and is applicable to real-world news. Results on two novel datasets that cover different languages, topics, and domains demonstrate the feasibility of our approach. Datasets and code are publicly available to foster research towards this new direction.
• Abstract（参考訳）: world wide webは、情報やニュースを集めるための人気ソースとなっている。 例えば、写真でテキストを豊かにするといったマルチモーダル情報は、ニュースをより効果的に伝達したり、注目を集めるために使われる。 写真の内容は装飾から付加的な重要な情報、あるいは誤解を招く情報まで様々である。 したがって、エンティティ表現のクロスモーダル一貫性を定量化する自動アプローチは、例えばバイアスや感情に関して、人間の評価者が全体的なマルチモーダルメッセージを評価するのに役立つ。 このような措置は、現代の社会でますます重要になっている偽ニュースを検出するヒントを与える可能性がある。 本稿では,実世界ニュースにおけるクロスモーダル一貫性検証の新たなタスクを紹介し,画像とテキスト間のエンティティコヒーレンスを定量化するマルチモーダルアプローチを提案する。 名前付きエンティティリンクは、ニューステキストから人、場所、イベントを抽出するために適用される。 これらの要素の相互類似性を計算するためにいくつかの手法が提案されている。 先行研究とは対照的に,本システムはwebからサンプルデータを自動的に収集し,実世界ニュースに適用する。 異なる言語、トピック、ドメインをカバーする2つの新しいデータセットの結果は、我々のアプローチの可能性を示している。 データセットとコードは、この新しい方向性の研究を促進するために公開されています。

関連論文リスト

• Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
  Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。 本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。 我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
  論文  参考訳（メタデータ） (2024-08-06T12:45:56Z)
• Multi-modal Stance Detection: New Datasets and Model [56.97470987479277]
  テキストと画像からなるツイートに対するマルチモーダル姿勢検出について検討する。 我々は、シンプルで効果的なマルチモーダル・プロンプト・チューニング・フレームワーク(TMPT)を提案する。 TMPTはマルチモーダル姿勢検出における最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-22T05:24:19Z)
• MSynFD: Multi-hop Syntax aware Fake News Detection [27.046529059563863]
  ソーシャルメディアプラットフォームは、偽ニュースを急速に拡散させ、われわれの現実社会に脅威を与えている。 既存の方法は、フェイクニュースの検出を強化するために、マルチモーダルデータまたはコンテキスト情報を使用する。 本稿では,偽ニュースの微妙なひねりに対処するための補完構文情報を含む,新しいマルチホップ構文認識型偽ニュース検出手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T05:40:33Z)
• Robust Domain Misinformation Detection via Multi-modal Feature Alignment [49.89164555394584]
  マルチモーダルな誤情報検出のための頑健なドメインとクロスモーダルなアプローチを提案する。 テキストと視覚の共役分布を整列させることにより、ドメインシフトを低減する。 また,ドメイン一般化のアプリケーションシナリオを同時に検討するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-24T07:06:16Z)
• Interpretable Detection of Out-of-Context Misinformation with Neural-Symbolic-Enhanced Large Multimodal Model [16.348950072491697]
  誤報の作者は、ニュース検出システムや偽ニュースを騙すために、マルチメディア以外のコンテンツを使う傾向が強まっている。 この新たなタイプの誤報は、検出だけでなく、個々のモダリティが真の情報に十分近いため、明確化の難しさも増す。 本稿では,不一致のペアと相互の矛盾を同時に識別する,解釈可能なクロスモーダル・デコンテクスト化検出を実現する方法について検討する。
  論文  参考訳（メタデータ） (2023-04-15T21:11:55Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• Multimodal Fake News Detection with Adaptive Unimodal Representation Aggregation [28.564442206829625]
  AURAは、適応的な一助表現アグリゲーションを備えたマルチモーダルフェイクニュース検出ネットワークである。 我々は,一様および多様の表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。 WeiboとGossipcopの実験は、AURAがいくつかの最先端のFNDスキームに勝つことを証明している。
  論文  参考訳（メタデータ） (2022-06-12T14:06:55Z)
• Applying Automatic Text Summarization for Fake News Detection [4.2177790395417745]
  フェイクニュースの配信は新しいものではなく、急速に増加している問題だ。 本稿ではトランスフォーマーに基づく言語モデルのパワーを組み合わせた問題に対するアプローチを提案する。 我々のフレームワークであるCMTR-BERTは、複数のテキスト表現を組み合わせることで、コンテキスト情報の取り込みを可能にする。
  論文  参考訳（メタデータ） (2022-04-04T21:00:55Z)
• Multi-modal Misinformation Detection: Approaches, Challenges and Opportunities [5.4482836906033585]
  ソーシャルメディアプラットフォームは、テキストベースのフォーラムからマルチモーダル環境へと進化している。 誤情報スプレッダーは、最近、テキストや画像などのモダリティ間のコンテキスト接続をターゲットにしている。 マルチモーダルな誤情報検出の分野での新たな研究機会を見出すために,既存のアプローチを分析,分類,そして,それらが直面する課題や欠点に加えて特定する。
  論文  参考訳（メタデータ） (2022-03-25T19:45:33Z)
• Cross-Media Keyphrase Prediction: A Unified Framework with Multi-Modality Multi-Head Attention and Image Wordings [63.79979145520512]
  マルチメディア投稿におけるキーワード予測におけるテキストと画像の併用効果について検討する。 複雑なマルチメディアインタラクションを捉えるために,M3H-Att(Multi-Modality Multi-Head Attention)を提案する。 我々のモデルは,従来の注目ネットワークに基づいて,過去の技術状況よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-11-03T08:44:18Z)
• Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
  本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。 特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。 本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-10T06:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。