論文の概要: Supervised Video Summarization via Multiple Feature Sets with Parallel
Attention
- arxiv url: http://arxiv.org/abs/2104.11530v1
- Date: Fri, 23 Apr 2021 10:46:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 13:15:33.110642
- Title: Supervised Video Summarization via Multiple Feature Sets with Parallel
Attention
- Title（参考訳）: 並列注意を伴う複数特徴集合による教師付きビデオ要約
- Authors: Junaid Ahmed Ghauri, Sherzod Hakimov, Ralph Ewerth
- Abstract要約: 視覚コンテンツと動きの3つの特徴セットを組み合わせて重要度を予測する新しいモデルアーキテクチャを提案する。
提案アーキテクチャは,動作特徴と(静止した)視覚的内容を表す特徴を融合する前に,注意機構を利用する。
SumMeとTVSumの2つのよく知られたデータセットについて、包括的な実験的評価が報告されている。
- 参考スコア（独自算出の注目度）: 4.931399476945033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The assignment of importance scores to particular frames or (short) segments
in a video is crucial for summarization, but also a difficult task. Previous
work utilizes only one source of visual features. In this paper, we suggest a
novel model architecture that combines three feature sets for visual content
and motion to predict importance scores. The proposed architecture utilizes an
attention mechanism before fusing motion features and features representing the
(static) visual content, i.e., derived from an image classification model.
Comprehensive experimental evaluations are reported for two well-known
datasets, SumMe and TVSum. In this context, we identify methodological issues
on how previous work used these benchmark datasets, and present a fair
evaluation scheme with appropriate data splits that can be used in future work.
When using static and motion features with parallel attention mechanism, we
improve state-of-the-art results for SumMe, while being on par with the state
of the art for the other dataset.
- Abstract（参考訳）: 重要度スコアをビデオ内の特定のフレームや(短い)セグメントに割り当てることは、要約には不可欠であるが、難しい作業でもある。
以前の作業では、ビジュアル機能の1つのソースのみを使用している。
本稿では,視覚コンテンツと動きの3つの特徴セットを組み合わせて重要度を予測する新しいモデルアーキテクチャを提案する。
提案アーキテクチャは,画像分類モデルから派生した(静的な)視覚的内容を表す動作特徴と特徴を融合する前に,注意機構を利用する。
SumMeとTVSumの2つのよく知られたデータセットについて総合的な実験的評価を報告する。
この文脈では,従来のベンチマークデータセットの使用方法に関する方法論的問題を特定し,今後の作業で使用可能な適切なデータ分割を用いた公平な評価手法を提案する。
並列アテンション機構を備えた静的およびモーション機能を使用する場合、他のデータセットの最先端と同等でありながら、SumMeの最先端結果を改善する。
関連論文リスト
- Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-12-18T18:59:51Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - Exploring Motion and Appearance Information for Temporal Sentence
Grounding [52.01687915910648]
本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。
動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。
提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2022-01-03T02:44:18Z) - HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。
本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。
我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
論文 参考訳（メタデータ） (2021-10-05T01:18:15Z) - Unsupervised Video Summarization via Multi-source Features [4.387757291346397]
ビデオ要約は、オリジナルビデオの本質を伝達するコンパクトだが代表的な視覚的要約を生成することを目的としている。
本稿では,複数の特徴源をチャンクとストライド融合で組み込むことにより,視覚的コンテンツについてより詳細な情報を提供する。
また,TVSumとSumMeの2つのベンチマークを総合的に評価するために,本手法を4つの最先端手法と比較した。
論文 参考訳（メタデータ） (2021-05-26T13:12:46Z) - Auto-weighted Multi-view Feature Selection with Graph Optimization [90.26124046530319]
グラフ学習に基づく新しい教師なしマルチビュー特徴選択モデルを提案する。
1) 特徴選択過程において, 異なる視点で共有されたコンセンサス類似度グラフが学習される。
各種データセットを用いた実験により,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-11T03:25:25Z) - Unified Graph Structured Models for Video Understanding [93.72081456202672]
リレーショナル・テンポラル関係を明示的にモデル化するメッセージパッシンググラフニューラルネットワークを提案する。
本手法は,シーン内の関連エンティティ間の関係をより効果的にモデル化できることを示す。
論文 参考訳（メタデータ） (2021-03-29T14:37:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。