論文の概要: MMUTF: Multimodal Multimedia Event Argument Extraction with Unified Template Filling

• arxiv url: http://arxiv.org/abs/2406.12420v2
• Date: Tue, 01 Oct 2024 20:02:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:18:11.894828
• Title: MMUTF: Multimodal Multimedia Event Argument Extraction with Unified Template Filling
• Title（参考訳）: MMUTF:Unified Template Fillingを用いたマルチモーダルマルチメディアイベント引数抽出
• Authors: Philipp Seeberger, Dominik Wagner, Korbinian Riedhammer,
• Abstract要約: テキストプロンプトを介してテキストと視覚のモダリティを接続する統合テンプレートフィリングモデルを提案する。 我々のシステムはテキストEAEのSOTAを+7%上回り、マルチメディアEAEの2番目に高いシステムよりも一般的に優れている。
• 参考スコア（独自算出の注目度）: 4.160176518973659
• License:
• Abstract: With the advancement of multimedia technologies, news documents and user-generated content are often represented as multiple modalities, making Multimedia Event Extraction (MEE) an increasingly important challenge. However, recent MEE methods employ weak alignment strategies and data augmentation with simple classification models, which ignore the capabilities of natural language-formulated event templates for the challenging Event Argument Extraction (EAE) task. In this work, we focus on EAE and address this issue by introducing a unified template filling model that connects the textual and visual modalities via textual prompts. This approach enables the exploitation of cross-ontology transfer and the incorporation of event-specific semantics. Experiments on the M2E2 benchmark demonstrate the effectiveness of our approach. Our system surpasses the current SOTA on textual EAE by +7% F1, and performs generally better than the second-best systems for multimedia EAE.
• Abstract（参考訳）: マルチメディア技術の進歩に伴い、ニュース文書やユーザ生成コンテンツは複数のモダリティとして表現されることが多く、マルチメディアイベント抽出(MEE)がますます重要な課題となっている。 しかし、近年のMEE手法では、単純な分類モデルを用いて、弱いアライメント戦略とデータ拡張を採用しており、これは、難易度の高いイベント引数抽出(EAE)タスクのための自然言語形式イベントテンプレートの機能を無視している。 本研究ではEAEに焦点をあて,テキストプロンプトを介してテキストと視覚のモダリティを接続する統合テンプレートフィリングモデルを導入することにより,この問題に対処する。 このアプローチは、相互オントロジー転送の活用とイベント固有のセマンティクスの導入を可能にする。 M2E2ベンチマークの実験により,本手法の有効性が示された。 我々のシステムはテキストEAEのSOTAを+7%上回り、マルチメディアEAEの2番目に高いシステムよりも一般的に優れている。

関連論文リスト

• Few-Shot Joint Multimodal Entity-Relation Extraction via Knowledge-Enhanced Cross-modal Prompt Model [16.03304915788997]
  JMERE(Joint Multimodal Entity-Relation extract)は、ソーシャルメディア投稿において、エンティティとそれらの関係をテキストイメージペアから抽出することを目的とした課題である。 JMEREの既存の方法は大量のラベル付きデータを必要とする。 textbfKnowledge-textbfEnhanced textbfCross-modal textbfPrompt textbfModelを紹介する。
  論文  参考訳（メタデータ） (2024-10-18T07:14:54Z)
• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
  Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。 本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。 我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
  論文  参考訳（メタデータ） (2024-08-06T12:45:56Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• MMICT: Boosting Multi-Modal Fine-Tuning with In-Context Examples [63.78384552789171]
  本稿では,新しいマルチモーダル微調整パラダイムであるMMICTを紹介する。 M-Hub(Multi-Modal Hub)は,異なる入力や目的に応じて様々なマルチモーダル特徴をキャプチャするモジュールである。 M-Hubに基づいてMMICTは、MM-LLMがコンテキスト内視覚誘導されたテキスト特徴から学習し、その後、テキスト誘導された視覚特徴に基づいて条件付き出力を生成する。
  論文  参考訳（メタデータ） (2023-12-11T13:11:04Z)
• Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation [9.817888267356716]
  会話におけるマルチモーダル感情認識(ERC)は2つの問題に直面している。 表現能力の強いモダリティに対して深部感情の手がかり抽出を行った。 特徴フィルタは、表現能力の弱いモダリティのためのマルチモーダルプロンプト情報として設計された。 MPTは、Transformerの各アテンション層にマルチモーダル融合情報を埋め込む。
  論文  参考訳（メタデータ） (2023-10-04T13:54:46Z)
• MMGCN: Multimodal Fusion via Deep Graph Convolution Network for Emotion Recognition in Conversation [32.15124603618625]
  本研究では,マルチモーダル融合グラフ畳み込みネットワークMMGCNに基づく新しいモデルを提案する。 MMGCNは、マルチモーダル依存関係を効果的に活用できるだけでなく、話者間の依存性や話者内依存性をモデル化するために話者情報を利用することもできる。 提案したモデルを,IEMOCAPとMELDという2つの公開ベンチマークデータセット上で評価し,MMGCNの有効性を実証した。
  論文  参考訳（メタデータ） (2021-07-14T15:37:02Z)
• VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles [63.32111010686954]
  マルチモーダル出力(VMSMO)を用いたビデオベースマルチモーダル要約の課題を提案する。 このタスクの主な課題は、ビデオの時間的依存性と記事の意味を共同でモデル化することである。 本稿では,デュアルインタラクションモジュールとマルチモーダルジェネレータからなるDual-Interaction-based Multimodal Summarizer (DIMS)を提案する。
  論文  参考訳（メタデータ） (2020-10-12T02:19:16Z)
• Visual Semantic Multimedia Event Model for Complex Event Detection in Video Streams [5.53329677986653]
  複雑なイベント処理(CEP)のようなミドルウェアシステムは、データストリームからパターンをマイニングし、タイムリーな方法でユーザに通知を送信する。 低レベルメディアストリームから構造化知識表現を作成することで、複雑な構造化イベント処理を可能にする視覚イベント仕様法を提案する。
  論文  参考訳（メタデータ） (2020-09-30T09:22:23Z)
• Cross-media Structured Common Space for Multimedia Event Extraction [82.36301617438268]
  マルチメディア文書からイベントとその引数を抽出することを目的とした,MultiMedia Event extract (M2E2) というタスクを導入する。 本稿では,意味情報の構造化表現を共通埋め込み空間にエンコードする新しい手法,Weakly Aligned Structured Embedding (WASE)を提案する。 画像を利用することで、従来のテキストのみの手法よりも21.4%多くのイベント参照を抽出する。
  論文  参考訳（メタデータ） (2020-05-05T20:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。