論文の概要: UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2109.05812v1
• Date: Mon, 13 Sep 2021 09:36:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 02:43:37.856459
• Title: UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation
• Title（参考訳）: UniMS:知識蒸留によるマルチモーダル要約のための統一フレームワーク
• Authors: Zhengkun Zhang, Xiaojun Meng, Yasheng Wang, Xin Jiang, Qun Liu, Zhenglu Yang
• Abstract要約: 本稿では,BART,UniMSに基づくマルチモーダル要約のための統一フレームワークを提案する。 我々は、画像選択を改善するために、視覚言語事前学習モデルから知識蒸留を採用する。 我々の最良のモデルは、大規模ベンチマークデータセットで新しい最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 43.15662489492694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid increase of multimedia data, a large body of literature has emerged to work on multimodal summarization, the majority of which target at refining salient information from textual and visual modalities to output a pictorial summary with the most relevant images. Existing methods mostly focus on either extractive or abstractive summarization and rely on qualified image captions to build image references. We are the first to propose a Unified framework for Multimodal Summarization grounding on BART, UniMS, that integrates extractive and abstractive objectives, as well as selecting the image output. Specially, we adopt knowledge distillation from a vision-language pretrained model to improve image selection, which avoids any requirement on the existence and quality of image captions. Besides, we introduce a visual guided decoder to better integrate textual and visual modalities in guiding abstractive text generation. Results show that our best model achieves a new state-of-the-art result on a large-scale benchmark dataset. The newly involved extractive objective as well as the knowledge distillation technique are proven to bring a noticeable improvement to the multimodal summarization task.
• Abstract（参考訳）: マルチメディアデータの急速な増加に伴い、大量の文献がマルチモーダル要約に取り組み始めており、その大半はテキストや視覚のモダリティから聖なる情報を精製し、最も関連性の高い画像で絵の要約を出力することを目的としている。 既存の手法は主に抽出的あるいは抽象的な要約に重点を置いており、画像参照を構築するのに適格な画像キャプションに依存している。 我々は,抽出目的と抽象目的を統合し,画像出力を選択する,BART,UniMSに基づくマルチモーダル要約のための統一フレームワークを最初に提案する。 特に,視覚言語学習モデルからの知識蒸留を応用して画像選択を改善し,画像キャプションの有無や品質の一切の要件を回避した。 さらに,抽象テキスト生成の誘導において,テキストと視覚のモダリティをよりよく統合するビジュアルガイドデコーダを導入する。 その結果,我々のベストモデルでは,大規模ベンチマークデータセットで新たな最先端結果が得られることがわかった。 新たに取り出した抽出目的と知識蒸留技術がマルチモーダル要約タスクに顕著な改善をもたらすことが証明される。

関連論文リスト

• Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
  Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。 本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。 我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
  論文  参考訳（メタデータ） (2024-08-06T12:45:56Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Learning Summary-Worthy Visual Representation for Abstractive Summarization in Video [34.202514532882]
  本稿では,抽象的な要約を容易にする要約価値のある視覚表現を学習するための新しいアプローチを提案する。 本手法は, クロスモーダル転写データと擬似要約から抽出した知識の両方から, 要約に値する情報を利用する。
  論文  参考訳（メタデータ） (2023-05-08T16:24:46Z)
• Summary-Oriented Vision Modeling for Multimodal Abstractive Summarization [63.320005222549646]
  マルチモーダル抽象要約(MAS)は、マルチモーダルデータ(テキストとビジョン)から簡潔な要約を作成することを目的としている。 本稿では,要約指向の視覚的特徴によって要約品質を改善することを提案する。 中高、低低、ゼロリソースのシナリオをカバーする44言語の実験は、提案手法の有効性と優位性を検証する。
  論文  参考訳（メタデータ） (2022-12-15T09:05:26Z)
• Named Entity and Relation Extraction with Multi-Modal Retrieval [51.660650522630526]
  マルチモーダルな名前付きエンティティ認識(NER)と関係抽出(RE)は、関連画像情報を活用してNERとREの性能を向上させることを目的としている。 新たなマルチモーダル検索フレームワーク(MoRe)を提案する。 MoReはテキスト検索モジュールと画像ベースの検索モジュールを含み、入力されたテキストと画像の関連知識をそれぞれ知識コーパスで検索する。
  論文  参考訳（メタデータ） (2022-12-03T13:11:32Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• Multi-Image Summarization: Textual Summary from a Set of Cohesive Images [17.688344968462275]
  本稿では,マルチイメージ要約の新しい課題を提案する。 入力画像のコヒーレントな集合から簡潔で記述的なテキスト要約を生成することを目的としている。 密度の高い平均画像特徴集約ネットワークにより、モデルは属性のコヒーレントなサブセットに集中することができる。
  論文  参考訳（メタデータ） (2020-06-15T18:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。