論文の概要: Query Twice: Dual Mixture Attention Meta Learning for Video Summarization

• arxiv url: http://arxiv.org/abs/2008.08360v1
• Date: Wed, 19 Aug 2020 10:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 12:25:50.221218
• Title: Query Twice: Dual Mixture Attention Meta Learning for Video Summarization
• Title（参考訳）: Query Twice:ビデオ要約のためのデュアルミックスアテンションメタ学習
• Authors: Junyan Wang, Yang Bai, Yang Long, Bingzhang Hu, Zhenhua Chai, Yu Guan and Xiaolin Wei
• Abstract要約: ビデオ要約は、ハイレベルな情報を保持するために代表フレームを選択することを目的としている。 ソフトマックス関数は複雑な視覚情報やシーケンシャル情報に対する高階表現の保持に苦しむ。 本稿では,ビデオ要約のためのメタラーニングを用いたDMASum(Dual Mixture Attention)モデルを提案する。
• 参考スコア（独自算出の注目度）: 26.94862888911233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video summarization aims to select representative frames to retain high-level information, which is usually solved by predicting the segment-wise importance score via a softmax function. However, softmax function suffers in retaining high-rank representations for complex visual or sequential information, which is known as the Softmax Bottleneck problem. In this paper, we propose a novel framework named Dual Mixture Attention (DMASum) model with Meta Learning for video summarization that tackles the softmax bottleneck problem, where the Mixture of Attention layer (MoA) effectively increases the model capacity by employing twice self-query attention that can capture the second-order changes in addition to the initial query-key attention, and a novel Single Frame Meta Learning rule is then introduced to achieve more generalization to small datasets with limited training sources. Furthermore, the DMASum significantly exploits both visual and sequential attention that connects local key-frame and global attention in an accumulative way. We adopt the new evaluation protocol on two public datasets, SumMe, and TVSum. Both qualitative and quantitative experiments manifest significant improvements over the state-of-the-art methods.
• Abstract（参考訳）: ビデオ要約は、高レベルの情報を保持するために代表フレームを選択することを目的としており、通常はソフトマックス関数を介してセグメントワイドの重要度を予測することによって解決される。 しかし、ソフトマックス関数は、ソフトマックスボトルネック問題として知られる複雑な視覚情報やシーケンシャル情報に対するハイランク表現を保持するのに苦しむ。 In this paper, we propose a novel framework named Dual Mixture Attention (DMASum) model with Meta Learning for video summarization that tackles the softmax bottleneck problem, where the Mixture of Attention layer (MoA) effectively increases the model capacity by employing twice self-query attention that can capture the second-order changes in addition to the initial query-key attention, and a novel Single Frame Meta Learning rule is then introduced to achieve more generalization to small datasets with limited training sources. さらに、DMASumは、局所的なキーフレームとグローバルな注意を蓄積的に接続する視覚的およびシーケンシャルな注意の両方を著しく活用する。 我々は2つの公開データセット、SumMeとTVSumに新しい評価プロトコルを採用する。 定性的かつ定量的な実験は、最先端の手法よりも著しく改善された。

関連論文リスト

• UBiSS: A Unified Framework for Bimodal Semantic Summarization of Videos [52.161513027831646]
  Bimodal Semantic Summarization of Videos (BiSSV) という,より包括的なビデオ要約タスクに着目する。 BiSSVタスクのための統一フレームワーク UBiSS を提案し、ビデオ内のサリエンシ情報をモデル化し、TM-summary と VM-summary を同時に生成する。 実験により、我々の統合されたフレームワークは、多段階の要約パイプラインよりも優れたパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2024-06-24T03:55:25Z)
• Dual-Query Multiple Instance Learning for Dynamic Meta-Embedding based Tumor Classification [5.121989578393729]
  全スライド画像(WSI)の評価は、がんの診断と治療計画において困難かつ重要なステップである。 粗粒度のラベルは容易にアクセスでき、WSI分類がマルチインスタンス学習(MIL)の理想的なユースケースとなる。 埋め込み型Dual-Query MILパイプライン(DQ-MIL)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T17:06:49Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• MHSCNet: A Multimodal Hierarchical Shot-aware Convolutional Network for Video Summarization [61.69587867308656]
  本稿では,MHSCNetと呼ばれるマルチモーダル階層型ショット・アウェア・畳み込みネットワークを提案する。 学習したショット認識表現に基づいて、MHSCNetは、ビデオのローカルおよびグローバルビューにおけるフレームレベルの重要度スコアを予測することができる。
  論文  参考訳（メタデータ） (2022-04-18T14:53:33Z)
• Exploring Global Diversity and Local Context for Video Summarization [4.452227592307381]
  ビデオ要約は,大規模ビデオ処理に有用な多種多様な簡潔な要約を自動的に生成することを目的としている。 ほとんどの手法では、ビデオフレーム間の自己注意機構を採用する傾向があり、ビデオフレームの多様性をモデル化できない。 そこで我々は,2乗ユークリッド距離を用いてアフィニティを求める。
  論文  参考訳（メタデータ） (2022-01-27T06:56:01Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• EV-VGCNN: A Voxel Graph CNN for Event-based Object Classification [18.154951807178943]
  イベントカメラは、少ない強度変化を報告し、ポータブルデバイス上での視覚知覚と理解のための低消費電力、高ダイナミックレンジ、高応答速度の顕著な利点を目立たせる。 イベントベースの学習手法は、従来の2次元学習アルゴリズムを適用するために、イベントを密度の高いフレームベースの表現に統合することで、オブジェクト認識において大きな成功を収めている。 これらのアプローチは、スパース・トゥ・ディエンス変換の期間中に多くの冗長な情報を導入し、重量と大容量のモデルを必要とするため、リアルタイムアプリケーションにおけるイベントカメラの可能性を制限する。
  論文  参考訳（メタデータ） (2021-06-01T04:07:03Z)
• See, Hear, Read: Leveraging Multimodality with Guided Attention for Abstractive Text Summarization [14.881597737762316]
  我々は,NDSS,ICML,NeurIPSなどの著名な学術カンファレンスのプレゼンテーションから収集した,様々な期間のビデオを用いた抽象テキスト要約のための最初の大規模データセットを紹介する。 次に,多モード変換器をベースとしたデコーダのみの言語モデルであるnameを提案し,テキスト要約タスクの様々な入力モードにおけるモーダル内およびモーダル間ダイナミクスを本質的にキャプチャする。
  論文  参考訳（メタデータ） (2021-05-20T08:56:33Z)
• Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization [77.21951145754065]
  本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。 CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
  論文  参考訳（メタデータ） (2020-08-04T08:25:24Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。