論文の概要: Use of Affective Visual Information for Summarization of Human-Centric Videos

• arxiv url: http://arxiv.org/abs/2107.03783v1
• Date: Thu, 8 Jul 2021 11:46:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-09 13:26:39.207527
• Title: Use of Affective Visual Information for Summarization of Human-Centric Videos
• Title（参考訳）: 人間中心のビデオ要約における情緒的視覚情報の利用
• Authors: Berkay K\"opr\"u, Engin Erzin
• Abstract要約: 本研究では、人間中心のビデオに対する感情情報豊かに教師付きビデオ要約タスクについて検討する。 まず、RECOLAデータセット上で視覚的入力駆動型感情認識モデル(CER-NET)を訓練し、感情特性を推定する。 次に,CER-NETの感情特性と高レベル表現を視覚情報と統合し,提案した情緒的映像要約アーキテクチャ(AVSUM)を定義する。
• 参考スコア（独自算出の注目度）: 13.273989782771556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasing volume of user-generated human-centric video content and their applications, such as video retrieval and browsing, require compact representations that are addressed by the video summarization literature. Current supervised studies formulate video summarization as a sequence-to-sequence learning problem and the existing solutions often neglect the surge of human-centric view, which inherently contains affective content. In this study, we investigate the affective-information enriched supervised video summarization task for human-centric videos. First, we train a visual input-driven state-of-the-art continuous emotion recognition model (CER-NET) on the RECOLA dataset to estimate emotional attributes. Then, we integrate the estimated emotional attributes and the high-level representations from the CER-NET with the visual information to define the proposed affective video summarization architectures (AVSUM). In addition, we investigate the use of attention to improve the AVSUM architectures and propose two new architectures based on temporal attention (TA-AVSUM) and spatial attention (SA-AVSUM). We conduct video summarization experiments on the TvSum database. The proposed AVSUM-GRU architecture with an early fusion of high level GRU embeddings and the temporal attention based TA-AVSUM architecture attain competitive video summarization performances by bringing strong performance improvements for the human-centric videos compared to the state-of-the-art in terms of F-score and self-defined face recall metrics.
• Abstract（参考訳）: ビデオ検索やブラウジングなどのユーザ中心のビデオコンテンツやそれらのアプリケーションでは、ビデオ要約文献によって対処されるコンパクトな表現が必要となる。 現在の教師付き研究は、映像要約をシーケンスからシーケンスへの学習問題として定式化し、既存のソリューションは、本質的に感情的内容を含む人間中心のビューの急増を無視することが多い。 本研究では,人間中心のビデオに対する情緒情報に富む教師付きビデオ要約タスクについて検討する。 まず、RECOLAデータセット上で視覚的入力駆動型感情認識モデル(CER-NET)を訓練し、感情特性を推定する。 次に,CER-NETの感情特性と高レベル表現を視覚情報と統合し,提案した情緒的映像要約アーキテクチャ (AVSUM) を定義する。 さらに,AVSUMアーキテクチャの改善に注意を払って,時間的注意(TA-AVSUM)と空間的注意(SA-AVSUM)に基づく2つの新しいアーキテクチャを提案する。 我々は,TvSumデータベース上で映像要約実験を行う。 提案するavsum-gruアーキテクチャは,f-scoreと自己定義顔のリコールメトリクスの点で,人間中心の映像に対するパフォーマンス向上を実現することにより,高レベルのgrub埋め込みと時間的注意に基づくta-avsumアーキテクチャを早期に融合させ,競争力の高いビデオ要約性能を実現している。

関連論文リスト

• Enhancing Video Summarization with Context Awareness [9.861215740353247]
  ビデオ要約は、ビデオの本質をキャプチャするテクニック、ショット、セグメントを選択することで、簡潔な要約を自動的に生成する。 ビデオ要約の重要性にもかかわらず、多様で代表的なデータセットが不足している。 本稿では,映像データ構造と情報を活用して情報要約を生成する教師なし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-06T09:08:34Z)
• Conditional Modeling Based Automatic Video Summarization [70.96973928590958]
  ビデオ要約の目的は、全体を伝えるのに必要な重要な情報を保持しながら、自動的にビデオを短縮することである。 映像要約法は視覚的連続性や多様性などの視覚的要因に依存しており、ビデオの内容を完全に理解するには不十分である。 映像要約への新たなアプローチは、人間が地上の真実のビデオ要約を作成する方法から得られる知見に基づいて提案されている。
  論文  参考訳（メタデータ） (2023-11-20T20:24:45Z)
• Affective Video Content Analysis: Decade Review and New Perspectives [4.3569033781023165]
  情緒的ビデオコンテンツ分析(AVCA)は、感情的コンピューティングの不可欠な分野として広く研究されている。 本稿では、AVCAで広く使われている感情表現モデルを紹介し、よく使われるデータセットについて述べる。 本稿では,感情認識や世論分析などの今後の課題と今後の研究方向性について論じる。
  論文  参考訳（メタデータ） (2023-10-26T07:56:17Z)
• How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
  情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。 Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。 Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-10-18T17:58:25Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)
• Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions [81.88294320397826]
  システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。 文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。 ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
  論文  参考訳（メタデータ） (2021-10-07T15:30:18Z)
• ASOD60K: Audio-Induced Salient Object Detection in Panoramic Videos [79.05486554647918]
  本研究では,パノラマビデオから有能な物体を分離する新しいタスクであるPV-SODを提案する。 既存の固定レベルやオブジェクトレベルの塩分濃度検出タスクとは対照的に,多モードの塩分濃度検出(SOD)に焦点を当てる。 AsOD60Kという,6レベル階層の4K解像度ビデオフレームを含む,最初の大規模データセットを収集する。
  論文  参考訳（メタデータ） (2021-07-24T15:14:20Z)
• Efficient Video Summarization Framework using EEG and Eye-tracking Signals [0.92246583941469]
  本稿では,いくつかのキーフレームやビデオのスキムで映像全体のギストを与える,効率的な映像要約フレームワークを提案する。 ヒトの注意行動を理解するため,脳波と視線追跡技術を用いて,ヒトの被験者による実験を設計・実施した。 提案手法を用いて,高い精度と高いリコール係数を維持しつつ,動画を96.5%要約する。
  論文  参考訳（メタデータ） (2021-01-27T08:13:19Z)
• Hybrid Dynamic-static Context-aware Attention Network for Action Assessment in Long Videos [96.45804577283563]
  本稿では,長期ビデオにおけるアクションアセスメントのための新しいハイブリットDynAmic-static Context-aware AttenTION NETwork(ACTION-NET)を提案する。 ビデオのダイナミックな情報を学習すると同時に,特定フレームにおける検出した選手の静的姿勢にも焦点をあてる。 2つのストリームの特徴を組み合わせることで、専門家が与えた地道的なスコアによって監督され、最終的なビデオスコアを後退させます。
  論文  参考訳（メタデータ） (2020-08-13T15:51:42Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。