論文の概要: Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames

• arxiv url: http://arxiv.org/abs/2311.17940v1
• Date: Tue, 28 Nov 2023 22:18:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 19:35:03.611058
• Title: Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
• Title（参考訳）: シーン要約:シーン映像を空間的に異なるフレームにまとめる
• Authors: Chao Chen, Mingzhi Zhu, Ankush Pratap Singh, Yu Yan, Felix Juefei Xu, Chen Feng
• Abstract要約: 本稿では,映像に基づくシーン理解タスクとして要約を提案する。 シーンの長いウォークスルーを、空間的に多様な小さなフレームにまとめることを目的としている。 私たちのソリューションは、SceneSumという名前の2段階の自己管理パイプラインです。
• 参考スコア（独自算出の注目度）: 24.614476456145255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose scene summarization as a new video-based scene understanding task. It aims to summarize a long video walkthrough of a scene into a small set of frames that are spatially diverse in the scene, which has many impotant applications, such as in surveillance, real estate, and robotics. It stems from video summarization but focuses on long and continuous videos from moving cameras, instead of user-edited fragmented video clips that are more commonly studied in existing video summarization works. Our solution to this task is a two-stage self-supervised pipeline named SceneSum. Its first stage uses clustering to segment the video sequence. Our key idea is to combine visual place recognition (VPR) into this clustering process to promote spatial diversity. Its second stage needs to select a representative keyframe from each cluster as the summary while respecting resource constraints such as memory and disk space limits. Additionally, if the ground truth image trajectory is available, our method can be easily augmented with a supervised loss to enhance the clustering and keyframe selection. Extensive experiments on both real-world and simulated datasets show our method outperforms common video summarization baselines by 50%
• Abstract（参考訳）: シーン理解タスクとしてシーン要約を提案する。 それは、シーンの長いビデオウォークスルーを、そのシーンで空間的に多様な小さなフレームにまとめることを目的としており、監視、不動産、ロボット工学など、多くの不適切な応用がある。 ビデオ要約から生まれたものだが、既存のビデオ要約作業で一般的に研究されているユーザー編集の断片化されたビデオクリップではなく、移動中のカメラからの長い連続的なビデオに焦点を当てている。 このタスクに対する私たちのソリューションは、SceneSumという名前の2段階の自己管理パイプラインです。 第1段では、クラスタリングを使用してビデオシーケンスをセグメンテーションする。 我々の中心となる考え方は、空間的多様性を促進するために視覚的位置認識(VPR)をこのクラスタリングプロセスに統合することである。 第2段階では、メモリやディスクスペースの制限といったリソース制約を尊重しながら、各クラスタからサマリとして代表キーフレームを選択する必要がある。 さらに,基底真理画像の軌跡が利用可能であれば,教師付き損失で容易に拡張でき,クラスタリングやキーフレームの選択が容易になる。 実世界およびシミュレートされたデータセットの広汎な実験は、我々の手法が共通のビデオ要約ベースラインを50%上回っていることを示している。

関連論文リスト

• A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video [20.579167394855197]
  本稿では,タスクの訓練と評価を行うためのマルチモーダル映像要約タスク設定とデータセットを提案する。 対象のタスクは、所定のビデオを複数のキャプチャペアに要約し、それらをリスト可能な形式で表示して、ビデオコンテンツを素早く把握することである。 この課題は実践的な応用として有用であり、研究に値する極めて困難な問題を提示している。
  論文  参考訳（メタデータ） (2023-12-04T02:17:14Z)
• Self-supervised Object-Centric Learning for Videos [39.02148880719576]
  実世界のシーケンスで複数のオブジェクトをセグメント化するための、最初の完全に教師なしの手法を提案する。 オブジェクト中心学習フレームワークは,各フレーム上のスロットにオブジェクトを空間的に結合し,これらのスロットをフレーム間で関連付ける。 提案手法は,YouTubeビデオにおける複雑・高多様性クラスの複数インスタンスの分割に成功している。
  論文  参考訳（メタデータ） (2023-10-10T18:03:41Z)
• Tracking Anything with Decoupled Video Segmentation [87.07258378407289]
  我々はデカップリングビデオセグメンテーションアプローチ(DEVA)を開発した。 タスク固有のイメージレベルセグメンテーションと、クラス/タスク非依存の双方向の時間的伝搬で構成されている。 この分離された定式化は、複数のデータスカースタスクにおけるエンドツーエンドのアプローチと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:59:41Z)
• Key Frame Extraction with Attention Based Deep Neural Networks [0.0]
  本稿では,注目層を持つディープオートエンコーダモデルを用いて,ディープラーニングに基づく検出手法を提案する。 提案手法は,まずオートエンコーダのエンコーダ部を用いて映像フレームから特徴を抽出し,k-meansアルゴリズムを用いて特徴と類似フレームをグループ化する。 本手法は,TVSUMクラスタリングビデオデータセットを用いて評価し,0.77の分類精度を達成し,既存の多くの手法よりも高い成功率を示した。
  論文  参考訳（メタデータ） (2023-06-21T15:09:37Z)
• Scene Consistency Representation Learning for Video Scene Segmentation [26.790491577584366]
  本稿では,長期ビデオからより優れたショット表現を学習するための,効果的な自己監視学習(SSL)フレームワークを提案する。 本稿では,シーンの一貫性を実現するためのSSLスキームを提案するとともに,モデルの一般化性を高めるためのデータ拡張とシャッフル手法について検討する。 本手法は,映像シーンのタスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-05-11T13:31:15Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)
• Self-supervised Video-centralised Transformer for Video Face Clustering [58.12996668434134]
  本稿では,ビデオ集中型トランスを用いたビデオの顔クラスタリング手法を提案する。 我々はEasyCom-Clusteringという名前の大規模なビデオ顔クラスタリングデータセットを初めてリリースした。
  論文  参考訳（メタデータ） (2022-03-24T16:38:54Z)
• Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation [96.67525775629444]
  アクションセグメンテーションとは、ビデオにおける意味的に一貫した視覚概念の境界を推測することを指す。 ビデオ中のセグメンテーション動作に対して,トレーニングを必要としない完全自動かつ教師なしのアプローチを提案する。 提案手法は,ビデオの意味的に一貫性のあるフレームをグループ化できる効果的な時間重み付き階層クラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-20T23:30:01Z)
• VideoClick: Video Object Segmentation with a Single Click [93.7733828038616]
  ビデオ中の各オブジェクトに対して1クリックずつのボトムアップアプローチを提案し,全ビデオ中の各オブジェクトのセグメンテーションマスクを取得する。 特に、対象フレーム内の各ピクセルを基準フレーム内のオブジェクトまたは背景のいずれかに割り当てる相関ボリュームを構築します。 この新しいCityscapesVideoデータセットの結果から、この困難な環境では、私たちのアプローチがすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-01-16T23:07:48Z)
• Video Panoptic Segmentation [117.08520543864054]
  我々は,ビデオパノプティクスセグメンテーションと呼ばれる,このタスクの新たな拡張手法を提案し,検討する。 この新しいタスクの研究を活性化するために,2種類のビデオパノプティクスデータセットを提示する。 本稿では,ビデオフレーム内のオブジェクトクラス,バウンディングボックス,マスク,インスタンスID追跡,セマンティックセマンティックセマンティックセマンティックセマンティクスを共同で予測する新しいビデオパノプティックセマンティクスネットワーク(VPSNet)を提案する。
  論文  参考訳（メタデータ） (2020-06-19T19:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。