論文の概要: Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames

• arxiv url: http://arxiv.org/abs/2311.17940v2
• Date: Sun, 10 Aug 2025 18:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.006461
• Title: Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
• Title（参考訳）: シーン要約:シーン映像を空間的に異なるフレームにまとめる
• Authors: Chao Chen, Mingzhi Zhu, Ankush Pratap Singh, Yu Yan, Felix Juefei Xu, Chen Feng,
• Abstract要約: シーン要約(Scene summarization)は、連続した長いシーン映像を、グローバルな空間的推論を容易にする、空間的に多様なコンパクトなセットに凝縮するタスクである。 SceneSumは、まず視覚的位置認識を用いてビデオフレームをクラスタリングし、空間的多様性を促進し、リソース制約下で各クラスタから代表者を選択する。 実および模擬屋内データセットの実験により、SceneSumはより空間的に情報的な要約を生成し、既存のビデオ要約ベースラインを上回っていることが示された。
• 参考スコア（独自算出の注目度）: 23.229623379422303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans are remarkably efficient at forming spatial understanding from just a few visual observations. When browsing real estate or navigating unfamiliar spaces, they intuitively select a small set of views that summarize the spatial layout. Inspired by this ability, we introduce scene summarization, the task of condensing long, continuous scene videos into a compact set of spatially diverse keyframes that facilitate global spatial reasoning. Unlike conventional video summarization-which focuses on user-edited, fragmented clips and often ignores spatial continuity-our goal is to mimic how humans abstract spatial layout from sparse views. We propose SceneSum, a two-stage self-supervised pipeline that first clusters video frames using visual place recognition to promote spatial diversity, then selects representative keyframes from each cluster under resource constraints. When camera trajectories are available, a lightweight supervised loss further refines clustering and selection. Experiments on real and simulated indoor datasets show that SceneSum produces more spatially informative summaries and outperforms existing video summarization baselines.
• Abstract（参考訳）: 人間は、ほんの少しの視覚的な観察から空間的な理解を形成するのに非常に効果的です。 不動産を閲覧したり、不慣れな空間をナビゲートする際には、直感的に空間レイアウトを要約する小さなビューを選択する。 この能力に触発されて,世界規模の空間的推論を容易にする,空間的に多様なキーフレームのコンパクトなセットに,連続的な長いシーン映像を凝縮する作業であるシーン要約を導入する。 ユーザが編集した断片化されたクリップに焦点を合わせ、空間的連続性を無視する従来のビデオ要約とは違って、人間がスパースビューから空間的レイアウトを抽象化する方法を模倣する。 SceneSumは、まず視覚的位置認識を用いてビデオフレームをクラスタリングし、空間的多様性を促進し、次にリソース制約の下で各クラスタから代表的キーフレームを選択する。 カメラトラジェクトリが利用可能になると、軽量な監視損失によりクラスタリングと選択がさらに洗練される。 実および模擬屋内データセットの実験により、SceneSumはより空間的に情報的な要約を生成し、既存のビデオ要約ベースラインを上回っていることが示された。

関連論文リスト

• Enhancing Long Video Question Answering with Scene-Localized Frame Grouping [19.83545369186771]
  現在のMultimodal Large Language Models (MLLMs) は、長いビデオ理解ではよく機能しない。 本稿では,ビデオ質問応答タスクであるSceneQAの新たなシナリオを提案する。 本研究では,個々のフレームを意味的に一貫性のあるシーンフレームに結合する,SLFGと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-08-05T02:28:58Z)
• Frame-Level Captions for Long Video Generation with Complex Multi Scenes [52.12699618126831]
  本稿では,データセットをフレームレベルでアノテートする方法を提案する。 この詳細なガイダンスはFrame-Level Attention Mechanismを使って、テキストとビデオの一致を正確に確認する。 トレーニングでは、Diffusion Forcingを使用して、モデルを柔軟に処理する能力を提供します。
  論文  参考訳（メタデータ） (2025-05-27T07:39:43Z)
• Parameter-free Video Segmentation for Vision and Language Understanding [55.20132267309382]
  最小記述長の原理に基づいて,映像を連続的なチャンクに分割するアルゴリズムを提案する。 アルゴリズムは完全にパラメータフリーで、設定された閾値や指定するチャンクの数やサイズを必要としない特徴ベクトルが与えられる。
  論文  参考訳（メタデータ） (2025-03-03T05:54:37Z)
• The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
  ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。 エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。 提案手法の強い時間的推論とセグメンテーション能力について検討した。
  論文  参考訳（メタデータ） (2025-01-15T03:17:24Z)
• I Spy With My Little Eye: A Minimum Cost Multicut Investigation of Dataset Frames [12.177674038614658]
  視覚フレーミング分析は、社会科学において、談話における共通テーマや概念を決定するための重要な方法である。 本稿では,クラスタリングタスクを最小コストマルチカット問題 [MP] と表現する。 MPに対する解は、同じクラスタに属する2つの画像の局所的対の確率のみから、後続確率を最大化するクラスタリングを提供することが示されている。 最適クラスタリング(定義によって)と組み合わせて空間差を埋め込むという私たちの洞察は、自動的な視覚的フレーム検出を進歩させます。
  論文  参考訳（メタデータ） (2024-12-02T09:09:47Z)
• A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video [20.579167394855197]
  本稿では,タスクの訓練と評価を行うためのマルチモーダル映像要約タスク設定とデータセットを提案する。 対象のタスクは、所定のビデオを複数のキャプチャペアに要約し、それらをリスト可能な形式で表示して、ビデオコンテンツを素早く把握することである。 この課題は実践的な応用として有用であり、研究に値する極めて困難な問題を提示している。
  論文  参考訳（メタデータ） (2023-12-04T02:17:14Z)
• Self-supervised Object-Centric Learning for Videos [39.02148880719576]
  実世界のシーケンスで複数のオブジェクトをセグメント化するための、最初の完全に教師なしの手法を提案する。 オブジェクト中心学習フレームワークは,各フレーム上のスロットにオブジェクトを空間的に結合し,これらのスロットをフレーム間で関連付ける。 提案手法は,YouTubeビデオにおける複雑・高多様性クラスの複数インスタンスの分割に成功している。
  論文  参考訳（メタデータ） (2023-10-10T18:03:41Z)
• Tracking Anything with Decoupled Video Segmentation [87.07258378407289]
  我々はデカップリングビデオセグメンテーションアプローチ(DEVA)を開発した。 タスク固有のイメージレベルセグメンテーションと、クラス/タスク非依存の双方向の時間的伝搬で構成されている。 この分離された定式化は、複数のデータスカースタスクにおけるエンドツーエンドのアプローチと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:59:41Z)
• Key Frame Extraction with Attention Based Deep Neural Networks [0.0]
  本稿では,注目層を持つディープオートエンコーダモデルを用いて,ディープラーニングに基づく検出手法を提案する。 提案手法は,まずオートエンコーダのエンコーダ部を用いて映像フレームから特徴を抽出し,k-meansアルゴリズムを用いて特徴と類似フレームをグループ化する。 本手法は,TVSUMクラスタリングビデオデータセットを用いて評価し,0.77の分類精度を達成し,既存の多くの手法よりも高い成功率を示した。
  論文  参考訳（メタデータ） (2023-06-21T15:09:37Z)
• Scene Consistency Representation Learning for Video Scene Segmentation [26.790491577584366]
  本稿では,長期ビデオからより優れたショット表現を学習するための,効果的な自己監視学習(SSL)フレームワークを提案する。 本稿では,シーンの一貫性を実現するためのSSLスキームを提案するとともに,モデルの一般化性を高めるためのデータ拡張とシャッフル手法について検討する。 本手法は,映像シーンのタスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-05-11T13:31:15Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)
• Self-supervised Video-centralised Transformer for Video Face Clustering [58.12996668434134]
  本稿では,ビデオ集中型トランスを用いたビデオの顔クラスタリング手法を提案する。 我々はEasyCom-Clusteringという名前の大規模なビデオ顔クラスタリングデータセットを初めてリリースした。
  論文  参考訳（メタデータ） (2022-03-24T16:38:54Z)
• Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation [96.67525775629444]
  アクションセグメンテーションとは、ビデオにおける意味的に一貫した視覚概念の境界を推測することを指す。 ビデオ中のセグメンテーション動作に対して,トレーニングを必要としない完全自動かつ教師なしのアプローチを提案する。 提案手法は,ビデオの意味的に一貫性のあるフレームをグループ化できる効果的な時間重み付き階層クラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-20T23:30:01Z)
• VideoClick: Video Object Segmentation with a Single Click [93.7733828038616]
  ビデオ中の各オブジェクトに対して1クリックずつのボトムアップアプローチを提案し,全ビデオ中の各オブジェクトのセグメンテーションマスクを取得する。 特に、対象フレーム内の各ピクセルを基準フレーム内のオブジェクトまたは背景のいずれかに割り当てる相関ボリュームを構築します。 この新しいCityscapesVideoデータセットの結果から、この困難な環境では、私たちのアプローチがすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-01-16T23:07:48Z)
• Video Panoptic Segmentation [117.08520543864054]
  我々は,ビデオパノプティクスセグメンテーションと呼ばれる,このタスクの新たな拡張手法を提案し,検討する。 この新しいタスクの研究を活性化するために,2種類のビデオパノプティクスデータセットを提示する。 本稿では,ビデオフレーム内のオブジェクトクラス,バウンディングボックス,マスク,インスタンスID追跡,セマンティックセマンティックセマンティックセマンティックセマンティクスを共同で予測する新しいビデオパノプティックセマンティクスネットワーク(VPSNet)を提案する。
  論文  参考訳（メタデータ） (2020-06-19T19:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。