論文の概要: Visualizing the Passage of Time with Video Temporal Pyramids

• arxiv url: http://arxiv.org/abs/2208.11885v1
• Date: Thu, 25 Aug 2022 06:19:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-26 13:47:23.750938
• Title: Visualizing the Passage of Time with Video Temporal Pyramids
• Title（参考訳）: Video Temporal Pyramids による時間経過の可視化
• Authors: Melissa E. Swift (1 and 2), Wyatt Ayers (1), Sophie Pallanck (1), Scott Wehrwein (1) ((1) Western Washington University, (2) Pacific Northwest National Laboratory)
• Abstract要約: 長いタイムパンで録画されたビデオは、複数のタイムスケールで興味深い現象を描いている。 いくつかの現象は、氷河の後退など、リアルタイムで経験するには遅すぎる。 タイムラプスは、長いビデオを要約し、遅い時間スケールを視覚化する一般的なアプローチである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What can we learn about a scene by watching it for months or years? A video recorded over a long timespan will depict interesting phenomena at multiple timescales, but identifying and viewing them presents a challenge. The video is too long to watch in full, and some occurrences are too slow to experience in real-time, such as glacial retreat. Timelapse videography is a common approach to summarizing long videos and visualizing slow timescales. However, a timelapse is limited to a single chosen temporal frequency, and often appears flickery due to aliasing and temporal discontinuities between frames. In this paper, we propose Video Temporal Pyramids, a technique that addresses these limitations and expands the possibilities for visualizing the passage of time. Inspired by spatial image pyramids from computer vision, we developed an algorithm that builds video pyramids in the temporal domain. Each level of a Video Temporal Pyramid visualizes a different timescale; for instance, videos from the monthly timescale are usually good for visualizing seasonal changes, while videos from the one-minute timescale are best for visualizing sunrise or the movement of clouds across the sky. To help explore the different pyramid levels, we also propose a Video Spectrogram to visualize the amount of activity across the entire pyramid, providing a holistic overview of the scene dynamics and the ability to explore and discover phenomena across time and timescales. To demonstrate our approach, we have built Video Temporal Pyramids from ten outdoor scenes, each containing months or years of data. We compare Video Temporal Pyramid layers to naive timelapse and find that our pyramids enable alias-free viewing of longer-term changes. We also demonstrate that the Video Spectrogram facilitates exploration and discovery of phenomena across pyramid levels, by enabling both overview and detail-focused perspectives.
• Abstract（参考訳）: 何ヶ月も何年も観察することで、シーンについて何が学べますか? 長いタイムパンで録画されたビデオは、複数のタイムスケールで興味深い現象を描いている。 ビデオはフルで見るには長すぎるし、氷河の後退など、リアルタイムに体験するには遅すぎる場合もある。 timelapse videographyは、長いビデオの要約とスロータイムスケールの可視化に一般的なアプローチである。 しかし、タイムラプスは1つの選択された時間周波数に制限され、フレーム間のエイリアスや時間的不連続によりしばしばフリッカリに現れる。 本稿では,これらの制限に対処し,時間経過を可視化する可能性を広げる手法であるビデオ時間ピラミッドを提案する。 コンピュータビジョンからの空間的画像ピラミッドに触発されて,時間領域に映像ピラミッドを構築するアルゴリズムを開発した。 例えば、月毎のタイムスケールのビデオは季節の変化を可視化するのに適しており、1分間のタイムスケールのビデオは日の出や空の雲の動きを視覚化するのに最適である。 また,ピラミッド全体の活動量を可視化するビデオスペクトログラムを提案し,シーンのダイナミクスの全体像と,時間と時間スケールにわたる現象を探索・発見する能力を提供する。 私たちのアプローチを実証するために、私たちは10の屋外シーンからビデオのテンポラリピラミッドを構築しました。 ビデオの時間的ピラミッド層をナイーブなタイムラプスと比較し、我々のピラミッドが長期的な変化をエイリアスフリーで見ることができることを発見した。 また,映像スペクトログラムは,概観と細部に焦点を当てた視点を両立させることで,ピラミッドレベルの現象の探索と発見を容易にすることを実証した。

関連論文リスト

• VidPanos: Generative Panoramic Videos from Casual Panning Videos [73.77443496436749]
  パノラマ画像ステッチは、カメラの視野を越えて広がるシーンの統一された広角ビューを提供する。 本稿では,カジュアルにキャプチャされたパンニングビデオからパノラマ動画を合成する方法を提案する。 我々のシステムは、人、車、流れる水など、さまざまな場所のシーンにビデオパノラマを作成できる。
  論文  参考訳（メタデータ） (2024-10-17T17:53:24Z)
• MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators [56.01348424615965]
  我々は,リアルタイムな物理知識をタイムラプスビデオから学習し,メタモルフィック生成を実装する,タイムラプスビデオ生成モデルであるtextbfMagicTimeを提案する。 実験は、高品質でダイナミックなメタモルフィックビデオを生成するためにMagicTimeの優位性と有効性を示す。
  論文  参考訳（メタデータ） (2024-04-07T16:49:07Z)
• Fast View Synthesis of Casual Videos with Soup-of-Planes [24.35962788109883]
  シーンのダイナミックスやパララックスの欠如といった課題のため、Wild ビデオからの新たなビュー合成は困難である。 本稿では,モノクロ映像から高品質な新規ビューを効率よく合成するために,明示的な映像表現を再考する。 本手法は,高品質で最先端の手法に匹敵する品質の動画から高品質な新奇なビューをレンダリングすると同時に,トレーニングの100倍高速でリアルタイムレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:55:48Z)
• Long Video Generation with Time-Agnostic VQGAN and Time-Sensitive Transformer [66.56167074658697]
  本稿では3D-VQGANとトランスフォーマーを使って数千フレームのビデオを生成する手法を提案する。 評価の結果,16フレームのビデオクリップでトレーニングしたモデルでは,多種多様でコヒーレントで高品質な長編ビデオが生成できることがわかった。 また,テキストと音声に時間情報を組み込むことで,有意義な長ビデオを生成するための条件付き拡張についても紹介する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:02Z)
• MM-Pyramid: Multimodal Pyramid Attentional Network for Audio-Visual Event Localization and Video Parsing [7.977954561853929]
  本稿では,マルチモーダルピラミッド注意ネットワーク(MM-Pyramid)を提案する。 また,適応型セマンティックフュージョンモジュールを設計し,ユニットレベルのアテンションブロックと選択的フュージョンブロックを活用して,ピラミッド機能を対話的に統合する。
  論文  参考訳（メタデータ） (2021-11-24T09:47:26Z)
• Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image [73.56631858393148]
  本研究では,1枚の画像から任意に長いカメラの軌跡に対応する新規ビューの長期生成という,永続的なビュー生成の問題について紹介する。 我々は、幾何合成と画像合成の両方を反復レンダリング、洗練、反復フレームワークで統合するハイブリッドアプローチを採用する。 提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。
  論文  参考訳（メタデータ） (2020-12-17T18:59:57Z)
• DeepVideoMVS: Multi-View Stereo on Video with Recurrent Spatio-Temporal Fusion [67.64047158294062]
  提案手法は,提案するビデオストリームに対するオンライン多視点深度予測手法である。 前のタイムステップで計算されたシーン形状情報を現在のタイムステップに伝搬する。 評価指標のほとんどにおいて、既存の最先端のマルチビューステレオ手法よりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:54:03Z)
• Space-time Neural Irradiance Fields for Free-Viewpoint Video [54.436478702701244]
  本稿では,1つのビデオから動的シーンのニューラル照度場を学習する手法を提案する。 私たちの学習した表現は、入力ビデオのフリービューレンダリングを可能にします。
  論文  参考訳（メタデータ） (2020-11-25T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。