論文の概要: A Multi-Modal Method for Satire Detection using Textual and Visual Cues

• arxiv url: http://arxiv.org/abs/2010.06671v1
• Date: Tue, 13 Oct 2020 20:08:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 22:27:48.986724
• Title: A Multi-Modal Method for Satire Detection using Textual and Visual Cues
• Title（参考訳）: テキストと視覚的手がかりを用いた風刺検出のためのマルチモーダル手法
• Authors: Lily Li, Or Levi, Pedram Hosseini, David A. Broniatowski
• Abstract要約: サティレはユーモラスな批評の一形態であるが、読者によって正統なニュースと誤解されることもある。 風刺ニュース記事で使用される画像は、しばしばばかばかしい内容やばかげた内容を含んでいる。 我々は、最先端のビオ言語モデルであるViLBERTに基づくマルチモーダルアプローチを提案する。
• 参考スコア（独自算出の注目度）: 5.147194328754225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Satire is a form of humorous critique, but it is sometimes misinterpreted by readers as legitimate news, which can lead to harmful consequences. We observe that the images used in satirical news articles often contain absurd or ridiculous content and that image manipulation is used to create fictional scenarios. While previous work have studied text-based methods, in this work we propose a multi-modal approach based on state-of-the-art visiolinguistic model ViLBERT. To this end, we create a new dataset consisting of images and headlines of regular and satirical news for the task of satire detection. We fine-tune ViLBERT on the dataset and train a convolutional neural network that uses an image forensics technique. Evaluation on the dataset shows that our proposed multi-modal approach outperforms image-only, text-only, and simple fusion baselines.
• Abstract（参考訳）: 風刺はユーモラスな批評の一形態であるが、読者によっては正当なニュースと誤解され、有害な結果をもたらすことがある。 風刺ニュース記事で使用される画像は、しばしばばかばかしい内容やばかげた内容を含み、画像操作は架空のシナリオを作成するために使用される。 従来の研究はテキストベースの手法を研究してきたが、本研究では、最先端のビジオ言語モデルであるViLBERTに基づくマルチモーダルアプローチを提案する。 この目的のために,風刺検出タスクのために,定期的かつ風刺的なニュースの画像と見出しからなる新しいデータセットを作成する。 データセット上でViLBERTを微調整し、画像法医学技術を用いた畳み込みニューラルネットワークを訓練する。 データセットの評価は,提案手法が画像のみ,テキストのみ,単純な融合ベースラインよりも優れていることを示す。

関連論文リスト

• YesBut: A High-Quality Annotated Multimodal Dataset for evaluating Satire Comprehension capability of Vision-Language Models [21.290282716770157]
  サテライト画像検出(画像が風刺的かどうかを検出する)、理解(画像の背後にある理由を生成する)、完成(画像の片方に画像の残りの半分を風刺的であるような2つのオプションから選択する)を提案する。 我々は、さらなる研究のために、119枚のリアルな風刺写真データセットを公開します。
  論文  参考訳（メタデータ） (2024-09-20T15:45:29Z)
• Visually-Aware Context Modeling for News Image Captioning [54.31708859631821]
  News Image Captioningは、ニュース記事や画像からキャプションを作成することを目的としている。 より優れた名前埋め込みを学習するための顔命名モジュールを提案する。 私たちはCLIPを使用して、画像にセマンティックに近い文を検索します。
  論文  参考訳（メタデータ） (2023-08-16T12:39:39Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• NewsStories: Illustrating articles with visual summaries [49.924916589209374]
  我々は,3300万記事,2200万画像,100万ビデオを含む大規模マルチモーダルデータセットを提案する。 現状の画像テキストアライメント手法は、複数の画像を持つ長い物語に対して堅牢ではないことを示す。 本稿では,GoodNewsデータセット上で,ゼロショット画像セット検索において,これらの手法を10%向上させる直感的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-07-26T17:34:11Z)
• Multimodal Neural Machine Translation with Search Engine Based Image Retrieval [4.662583832063716]
  バイリンガルパラレルコーパスのための記述画像収集のためのオープン語彙画像検索手法を提案する。 提案手法は,強いベースラインに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-07-26T08:42:06Z)
• TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
  TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。 StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。 視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。 インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
  論文  参考訳（メタデータ） (2020-12-06T16:20:19Z)
• Text as Neural Operator: Image Manipulation by Text Instruction [68.53181621741632]
  本稿では、複雑なテキスト命令を用いて複数のオブジェクトで画像を編集し、オブジェクトの追加、削除、変更を可能にする設定について検討する。 タスクの入力は、(1)参照画像を含むマルチモーダルであり、(2)所望の修正を記述した自然言語の命令である。 提案モデルは,最近の3つの公開データセットの強いベースラインに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-08-11T07:07:10Z)
• Satirical News Detection with Semantic Feature Extraction and Game-theoretic Rough Sets [5.326582776477692]
  本稿では,風刺的なニュースツイートを検出するための意味的特徴に基づくアプローチを提案する。 特徴は、句、実体、および主節と相対節の間の矛盾を探索することによって抽出される。 確率しきい値がゲーム平衡と繰り返し学習機構によって導出される風刺ニュースを検出するために,ゲーム理論ラフセットモデルを適用した。
  論文  参考訳（メタデータ） (2020-04-08T03:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。