論文の概要: Adaptive Video Highlight Detection by Learning from User History
- arxiv url: http://arxiv.org/abs/2007.09598v1
- Date: Sun, 19 Jul 2020 05:52:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 00:26:02.849844
- Title: Adaptive Video Highlight Detection by Learning from User History
- Title（参考訳）: ユーザ履歴からの学習による適応的ビデオハイライト検出
- Authors: Mrigank Rochan, Mahesh Kumar Krishna Reddy, Linwei Ye, Yang Wang
- Abstract要約: 本研究では,ユーザの履歴を,ユーザが以前に作成したハイライト形式で活用することで,ハイライト検出をユーザに適用するフレームワークを提案する。
我々のフレームワークは2つのサブネットワークで構成されている。完全な時間的畳み込みハイライト検出ネットワーク$H$は、入力ビデオのハイライトを予測し、履歴エンコーダネットワーク$M$は、ユーザ履歴のためのものである。
- 参考スコア（独自算出の注目度）: 18.18119240674014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there is an increasing interest in highlight detection research
where the goal is to create a short duration video from a longer video by
extracting its interesting moments. However, most existing methods ignore the
fact that the definition of video highlight is highly subjective. Different
users may have different preferences of highlight for the same input video. In
this paper, we propose a simple yet effective framework that learns to adapt
highlight detection to a user by exploiting the user's history in the form of
highlights that the user has previously created. Our framework consists of two
sub-networks: a fully temporal convolutional highlight detection network $H$
that predicts highlight for an input video and a history encoder network $M$
for user history. We introduce a newly designed temporal-adaptive instance
normalization (T-AIN) layer to $H$ where the two sub-networks interact with
each other. T-AIN has affine parameters that are predicted from $M$ based on
the user history and is responsible for the user-adaptive signal to $H$.
Extensive experiments on a large-scale dataset show that our framework can make
more accurate and user-specific highlight predictions.
- Abstract（参考訳）: 近年,興味深い瞬間を抽出し,より長いビデオから短時間のビデオを作成することを目的としたハイライト検出研究への関心が高まっている。
しかし、既存の方法の多くは、ビデオハイライトの定義が極めて主観的であるという事実を無視している。
異なるユーザーは、同じ入力ビデオに対して異なるハイライトの好みを持つかもしれない。
本稿では,ユーザの履歴を,ユーザが以前に作成したハイライト形式で活用することで,ユーザに対してハイライト検出を適応させる,シンプルで効果的なフレームワークを提案する。
我々のフレームワークは2つのサブネットワークで構成されている。完全な時間的畳み込みハイライト検出ネットワーク$H$は、入力ビデオのハイライトを予測し、履歴エンコーダネットワーク$M$は、ユーザ履歴のためのものである。
新たに設計された時間適応型インスタンス正規化(T-AIN)レイヤを2つのサブネットワークが相互に相互作用する$H$に導入する。
T-AINはユーザ履歴に基づいて$M$から予測されるアフィンパラメータを持ち、ユーザ適応シグナルを$H$にします。
大規模なデータセットに対する大規模な実験により、我々のフレームワークはより正確でユーザ固有のハイライト予測を行うことができる。
関連論文リスト
- Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳（メタデータ） (2023-07-24T06:22:37Z) - Show Me What I Like: Detecting User-Specific Video Highlights Using Content-Based Multi-Head Attention [52.84233165201391]
そこで本稿では,従来視聴したビデオに表示されていたハイライトクリップに基づいて,対象ビデオの個別化ハイライトを検出する手法を提案する。
本手法は,対象物と人的活動の事前学習機能を用いて,好むクリップの内容と対象ビデオの両方を明示的に活用する。
論文 参考訳（メタデータ） (2022-07-18T02:32:48Z) - HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。
本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。
我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
論文 参考訳（メタデータ） (2021-10-05T01:18:15Z) - IntentVizor: Towards Generic Query Guided Interactive Video
Summarization Using Slow-Fast Graph Convolutional Networks [2.5234156040689233]
IntentVizorは、ジェネリックなマルチモーダリティクエリによってガイドされるインタラクティブなビデオ要約フレームワークである。
ユーザからのインプットを表現するために一連のインテントを使用して、インタラクティブなビジュアル分析インターフェースを設計しています。
論文 参考訳（メタデータ） (2021-09-30T03:44:02Z) - PR-Net: Preference Reasoning for Personalized Video Highlight Detection [34.71807317380797]
本稿では,フレームレベルのハイライト予測を考慮し,多種多様な関心事を考慮した簡易かつ効率的な選好推論フレームワーク(PR-Net)を提案する。
提案手法は, 平均精度が12%向上し, 最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2021-09-04T06:12:13Z) - Cross-category Video Highlight Detection via Set-based Learning [55.49267044910344]
本稿では,Dual-Learner-based Video Highlight Detection (DL-VHD) フレームワークを提案する。
対象とするカテゴリビデオの区別と,ソースビデオカテゴリにおけるハイライトモーメントの特徴を学習する。
さまざまなカテゴリのハイライト検出タスクにおいて、一般的な5つのUnsupervised Domain Adaptation (UDA)アルゴリズムより優れています。
論文 参考訳（メタデータ） (2021-08-26T13:06:47Z) - From Implicit to Explicit feedback: A deep neural network for modeling
sequential behaviours and long-short term preferences of online users [3.464871689508835]
暗黙的かつ明示的なフィードバックは、有用な推奨のために異なる役割を持つ。
ユーザの嗜好は,長期的利益と短期的利益の組み合わせである,という仮説から導かれる。
論文 参考訳（メタデータ） (2021-07-26T16:59:20Z) - QVHighlights: Detecting Moments and Highlights in Videos via Natural
Language Queries [89.24431389933703]
Query-based Video Highlights (QVHighlights) データセットを提示する。
これは1万本以上のYouTubeビデオで構成され、幅広いトピックをカバーしている。
データセット内の各ビデオには、(1)人書き自由形式のNLクエリ、(2)クエリに関するビデオw.r.t.の関連モーメント、(3)クエリに関連するすべてのクリップに対する5ポイントスケールのサリエンシスコアが注釈付けされている。
論文 参考訳（メタデータ） (2021-07-20T16:42:58Z) - Few-Shot Video Object Detection [70.43402912344327]
本稿では,Few-Shot Video Object Detection (FSVOD) を紹介する。
fsvod-500は500のクラスからなり、各カテゴリーにクラスバランスのビデオがある。
私達のTPNおよびTMN+は共同およびエンドツーエンドの訓練されます。
論文 参考訳（メタデータ） (2021-04-30T07:38:04Z) - Attentive Item2Vec: Neural Attentive User Representations [29.53270166926552]
項目2vec(AI2V)について紹介する。項目2vec(I2V)の新しい注意バージョン。
AI2Vは、潜在的に推奨されるアイテム(ターゲット)に関して、ユーザの履歴行動(コンテキスト)の異なる特性を学習し、捉えるために、コンテキストターゲットアテンションメカニズムを採用している。
複数のデータセットに対してAI2Vの有効性を示す。
論文 参考訳（メタデータ） (2020-02-15T15:22:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。