論文の概要: Unsupervised Video Summarization via Multi-source Features
- arxiv url: http://arxiv.org/abs/2105.12532v1
- Date: Wed, 26 May 2021 13:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-27 13:41:00.992375
- Title: Unsupervised Video Summarization via Multi-source Features
- Title（参考訳）: マルチソース機能による教師なしビデオ要約
- Authors: Hussain Kanafani, Junaid Ahmed Ghauri, Sherzod Hakimov, Ralph Ewerth
- Abstract要約: ビデオ要約は、オリジナルビデオの本質を伝達するコンパクトだが代表的な視覚的要約を生成することを目的としている。
本稿では,複数の特徴源をチャンクとストライド融合で組み込むことにより,視覚的コンテンツについてより詳細な情報を提供する。
また,TVSumとSumMeの2つのベンチマークを総合的に評価するために,本手法を4つの最先端手法と比較した。
- 参考スコア（独自算出の注目度）: 4.387757291346397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video summarization aims at generating a compact yet representative visual
summary that conveys the essence of the original video. The advantage of
unsupervised approaches is that they do not require human annotations to learn
the summarization capability and generalize to a wider range of domains.
Previous work relies on the same type of deep features, typically based on a
model pre-trained on ImageNet data. Therefore, we propose the incorporation of
multiple feature sources with chunk and stride fusion to provide more
information about the visual content. For a comprehensive evaluation on the two
benchmarks TVSum and SumMe, we compare our method with four state-of-the-art
approaches. Two of these approaches were implemented by ourselves to reproduce
the reported results. Our evaluation shows that we obtain state-of-the-art
results on both datasets, while also highlighting the shortcomings of previous
work with regard to the evaluation methodology. Finally, we perform error
analysis on videos for the two benchmark datasets to summarize and spot the
factors that lead to misclassifications.
- Abstract（参考訳）: ビデオ要約は、オリジナルビデオの本質を伝えるコンパクトだが代表的なビジュアル要約を作成することを目的としている。
教師なしアプローチの利点は、要約能力を学び、より広い範囲のドメインに一般化するために人間のアノテーションを必要としないことである。
これまでの作業は、ImageNetデータに基づいて事前トレーニングされたモデルに基づいていた、同じタイプのディープ機能に依存していた。
そこで本研究では,複数の特徴源とチャンクとストライド融合を組み込むことにより,視覚コンテンツのさらなる情報を提供する。
また,TVSumとSumMeの2つのベンチマークを総合評価するために,本手法を4つの最先端手法と比較した。
これらの2つのアプローチは、報告された結果を再現するために私たち自身によって実装されました。
評価の結果から,両データセットについて最新の結果を得るとともに,評価手法における先行研究の問題点を浮き彫りにした。
最後に,2つのベンチマークデータセットのビデオに対してエラー解析を行い,誤分類の原因を要約し,同定する。
関連論文リスト
- Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
きめ細かい評価のための新しいアプローチを導入する。
テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。
きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
論文 参考訳（メタデータ） (2024-10-16T09:42:29Z) - Conditional Modeling Based Automatic Video Summarization [70.96973928590958]
ビデオ要約の目的は、全体を伝えるのに必要な重要な情報を保持しながら、自動的にビデオを短縮することである。
映像要約法は視覚的連続性や多様性などの視覚的要因に依存しており、ビデオの内容を完全に理解するには不十分である。
映像要約への新たなアプローチは、人間が地上の真実のビデオ要約を作成する方法から得られる知見に基づいて提案されている。
論文 参考訳（メタデータ） (2023-11-20T20:24:45Z) - Mitigating Representation Bias in Action Recognition: Algorithms and
Benchmarks [76.35271072704384]
ディープラーニングモデルは、稀なシーンやオブジェクトを持つビデオに適用すると、パフォーマンスが悪くなります。
この問題にはアルゴリズムとデータセットの2つの異なる角度から対処する。
偏りのある表現は、他のデータセットやタスクに転送するとより一般化できることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:30:35Z) - Video Summarization Based on Video-text Modelling [0.0]
ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。
また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。
映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
論文 参考訳（メタデータ） (2022-01-07T15:21:46Z) - Aspect-Controllable Opinion Summarization [58.5308638148329]
アスペクトクエリに基づいてカスタマイズした要約を生成する手法を提案する。
レビューコーパスを用いて、アスペクトコントローラで強化された(リビュー、サマリ)ペアの合成トレーニングデータセットを作成する。
合成データセットを用いて事前学習したモデルを微調整し、アスペクトコントローラを変更することでアスペクト固有の要約を生成する。
論文 参考訳（メタデータ） (2021-09-07T16:09:17Z) - Unsupervised Video Summarization with a Convolutional Attentive
Adversarial Network [32.90753137435032]
我々は,教師なしの方法で深層要約器を構築するために,畳み込み型敵ネットワーク(CAAN)を提案する。
具体的には、ビデオのグローバルな表現を抽出する完全畳み込みシーケンスネットワークと、正規化された重要度スコアを出力する注目ベースのネットワークを用いる。
その結果,提案手法の他の非教師なし手法に対する優位性を示した。
論文 参考訳（メタデータ） (2021-05-24T07:24:39Z) - How Good is a Video Summary? A New Benchmarking Dataset and Evaluation
Framework Towards Realistic Video Summarization [11.320914099324492]
6つのカテゴリにまたがる長いビデオで構成されるVISIOCITYと呼ばれる新しいベンチマークビデオデータセットを紹介します。
VISIOCITYに存在する間接的地上真実から複数の参照要約を自動的に生成する戦略を示す。
人間の判断に近い要約品質を定量的に評価するための評価枠組みを提案する。
論文 参考訳（メタデータ） (2021-01-26T01:42:55Z) - Self-supervised Co-training for Video Representation Learning [103.69904379356413]
実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。
本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。
本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
論文 参考訳（メタデータ） (2020-10-19T17:59:01Z) - CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural
Summarization Systems [121.78477833009671]
データセット間設定下での様々な要約モデルの性能について検討する。
異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
論文 参考訳（メタデータ） (2020-10-11T02:19:15Z) - Realistic Video Summarization through VISIOCITY: A New Benchmark and
Evaluation Framework [15.656965429236235]
いくつかの課題に対処することで,ビデオの自動要約をより現実的にするための一歩を踏み出した。
まず、現在利用可能なデータセットは、非常に短いビデオを持っているか、特定のタイプのビデオしか持たない。
6つのカテゴリにまたがる長いビデオからなる新しいベンチマークデータセットVISIOCITYを導入する。
論文 参考訳（メタデータ） (2020-07-29T02:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。