論文の概要: Disentangling Random and Cyclic Effects in Time-Lapse Sequences
- arxiv url: http://arxiv.org/abs/2207.01413v1
- Date: Mon, 4 Jul 2022 13:49:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 16:25:28.812502
- Title: Disentangling Random and Cyclic Effects in Time-Lapse Sequences
- Title（参考訳）: 時系列列における遠絡ランダムと周期効果
- Authors: Erik H\"ark\"onen, Miika Aittala, Tuomas Kynk\"a\"anniemi, Samuli
Laine, Timo Aila, Jaakko Lehtinen
- Abstract要約: 本稿では,画像の全体的な傾向,循環効果,ランダムな影響を分離し,後続の制御を可能にする方法で,時間経過列をアンタングリングする問題を提起する。
提案手法は,時間経過シーケンスの時間座標を条件としたGAN(Generative Adversarial Networks)に基づく。
我々のモデルはトレーニングデータの欠陥に対して堅牢であることを示し、長いタイムラプスシーケンスをキャプチャする際の現実的な困難を修正できるようにします。
- 参考スコア（独自算出の注目度）: 32.91054260622378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time-lapse image sequences offer visually compelling insights into dynamic
processes that are too slow to observe in real time. However, playing a long
time-lapse sequence back as a video often results in distracting flicker due to
random effects, such as weather, as well as cyclic effects, such as the
day-night cycle. We introduce the problem of disentangling time-lapse sequences
in a way that allows separate, after-the-fact control of overall trends, cyclic
effects, and random effects in the images, and describe a technique based on
data-driven generative models that achieves this goal. This enables us to
"re-render" the sequences in ways that would not be possible with the input
images alone. For example, we can stabilize a long sequence to focus on plant
growth over many months, under selectable, consistent weather.
Our approach is based on Generative Adversarial Networks (GAN) that are
conditioned with the time coordinate of the time-lapse sequence. Our
architecture and training procedure are designed so that the networks learn to
model random variations, such as weather, using the GAN's latent space, and to
disentangle overall trends and cyclic variations by feeding the conditioning
time label to the model using Fourier features with specific frequencies.
We show that our models are robust to defects in the training data, enabling
us to amend some of the practical difficulties in capturing long time-lapse
sequences, such as temporary occlusions, uneven frame spacing, and missing
frames.
- Abstract（参考訳）: タイムラプス画像シーケンスは、リアルタイムに観察するには遅すぎる動的プロセスに対する視覚的に魅力的な洞察を提供する。
しかし、ビデオのように長いタイムラプスのシーケンスを再生すると、天気などのランダムな効果や、昼夜サイクルのような循環的な効果によって、邪魔になることが多い。
本稿では,画像の全体的な傾向,循環的効果,ランダムな効果を個別に後続的に制御し,この目標を達成するデータ駆動生成モデルに基づく手法について述べる。
これにより、入力画像だけでは不可能な方法でシーケンスを“再レンダリング”することが可能になります。
例えば、選択可能な一貫した天候の下で、植物の成長に焦点を当てるために長い配列を安定させることができる。
提案手法は,時間経過シーケンスの時間座標を条件としたGAN(Generative Adversarial Networks)に基づく。
我々のアーキテクチャと訓練手順は、GANの潜在空間を用いて天気などのランダムな変動をモデル化し、特定の周波数のフーリエ特徴を用いて条件付け時間ラベルをモデルに入力することにより、全体的な傾向と周期的な変動を解き放つように設計されている。
我々のモデルはトレーニングデータの欠陥に対して堅牢であることを示し、一時的な閉塞、不均一フレーム間隔、欠落フレームなどの長い時間経過シーケンスをキャプチャする実践的な困難を修正できることを示した。
関連論文リスト
- Utilizing Image Transforms and Diffusion Models for Generative Modeling of Short and Long Time Series [7.201938834736084]
可変長時系列の統一生成モデルを提案する。
遅延埋め込みや短時間フーリエ変換などの可逆変換を用いる。
提案手法は,強いベースラインに対して常に最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-25T13:06:18Z) - Made to Order: Discovering monotonic temporal changes via self-supervised video ordering [89.0660110757949]
我々は、シャッフルされた画像シーケンスをオーバシリ信号として処理する簡単なプロキシタスクを利用する。
本稿では,任意の長さの画像列を帰属マップで順序付けするトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2024-04-25T17:59:56Z) - TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
時系列データは、その固有の長短の依存関係によって特徴づけられる。
本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。
我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2024-04-12T13:41:29Z) - SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-14T15:29:09Z) - Time Series as Images: Vision Transformer for Irregularly Sampled Time
Series [32.99466250557855]
本稿では,不規則なサンプル時系列を線グラフ画像に変換することによって,新しい視点を提案する。
次に、画像分類と同様に、時系列分類に強力な事前学習型視覚変換器を利用する。
注目すべきは、その単純さにもかかわらず、私たちのアプローチは、いくつかの一般的な医療および人間の活動データセットに関する最先端の特殊アルゴリズムよりも優れていることです。
論文 参考訳（メタデータ） (2023-03-01T22:42:44Z) - HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。
本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。
本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-08-11T14:05:51Z) - Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full
Version [37.09531298150374]
同じ時系列パターンの複雑な時系列パターンが時間によって異なる可能性があるため、トラフィックシリーズの予測は困難である。
このような時間的モデルは、時間的位置と時間的期間に関わらず、共有パラメータ空間を使用し、時間的相関は場所間で類似しており、常に時間にわたって保持するわけではないと仮定する。
サブテンポラリモデルにICDを意識したモデルをエンコードするフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-29T16:44:56Z) - Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。
本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
論文 参考訳（メタデータ） (2022-02-24T23:51:36Z) - Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。
私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。
将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
論文 参考訳（メタデータ） (2021-01-07T02:41:32Z) - Crowdsampling the Plenoptic Function [56.10020793913216]
このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
論文 参考訳（メタデータ） (2020-07-30T02:52:10Z) - Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。
そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
論文 参考訳（メタデータ） (2020-02-26T12:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。