論文の概要: STint: Self-supervised Temporal Interpolation for Geospatial Data

• arxiv url: http://arxiv.org/abs/2309.00059v1
• Date: Thu, 31 Aug 2023 18:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 15:29:45.284267
• Title: STint: Self-supervised Temporal Interpolation for Geospatial Data
• Title（参考訳）: STint:地理空間データに対する自己教師付き時間補間
• Authors: Nidhin Harilal, Bri-Mathias Hodge, Aneesh Subramanian, Claire Monteleoni
• Abstract要約: 監督・監督されていない技術は、ビデオデータの時間的可能性を実証している。 最も一般的な時間的手法は、ビデオフレーム間のピクセルの動きを符号化する光の流れにヒンジする。 本研究では,地上の真実データに頼らず,光学的流れのような動き情報を必要としない,教師なしの時間的手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised and unsupervised techniques have demonstrated the potential for temporal interpolation of video data. Nevertheless, most prevailing temporal interpolation techniques hinge on optical flow, which encodes the motion of pixels between video frames. On the other hand, geospatial data exhibits lower temporal resolution while encompassing a spectrum of movements and deformations that challenge several assumptions inherent to optical flow. In this work, we propose an unsupervised temporal interpolation technique, which does not rely on ground truth data or require any motion information like optical flow, thus offering a promising alternative for better generalization across geospatial domains. Specifically, we introduce a self-supervised technique of dual cycle consistency. Our proposed technique incorporates multiple cycle consistency losses, which result from interpolating two frames between consecutive input frames through a series of stages. This dual cycle consistent constraint causes the model to produce intermediate frames in a self-supervised manner. To the best of our knowledge, this is the first attempt at unsupervised temporal interpolation without the explicit use of optical flow. Our experimental evaluations across diverse geospatial datasets show that STint significantly outperforms existing state-of-the-art methods for unsupervised temporal interpolation.
• Abstract（参考訳）: 監督・監督されていない技術は、ビデオデータの時間的補間の可能性を示している。 しかしながら、最も一般的な時間的補間技術は、ビデオフレーム間のピクセルの動きを符号化する光フローをヒンジする。 一方、地理空間データは、光学的流れに固有のいくつかの仮定に挑戦する動きと変形のスペクトルを包含しながら、より低い時間分解能を示す。 本研究では,地上の真実データに頼らず,光学的流れのような運動情報を必要とする非教師付き時間補間手法を提案する。 具体的には,2サイクル一貫性の自己管理手法を導入する。 提案手法では,連続する入力フレーム間の2つのフレームの補間を連続的に行うことで,複数のサイクルの整合性損失が生じる。 この双周期一貫した制約により、モデルは自己教師ありの方法で中間フレームを生成する。 我々の知る限りでは、これは光流を明示的に使わずに教師なしの時間補間を試みる最初の試みである。 様々な地理空間データセットを対象とした実験により,sintは教師なし時空間補間のための既存の最先端手法を著しく上回っていることが示された。

関連論文リスト

• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• SSTM: Spatiotemporal Recurrent Transformers for Multi-frame Optical Flow Estimation [0.0]
  クローズド領域および外界領域における光流量推定は、光流量推定アルゴリズムの現在の重要な限界の2つである。 最近の最先端の光学フロー推定アルゴリズムは、連続した画像対ごとに連続して光フローを推定する2フレームベースの手法である。 多フレーム画像列から2つ以上の連続する光フローを並列に推定する学習型多フレーム光フロー推定法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T23:39:40Z)
• Unsupervised Learning Optical Flow in Multi-frame Dynamic Environment Using Temporal Dynamic Modeling [7.111443975103329]
  本稿では,動的シーンの複数フレーム列からの光フロー推定について検討する。 隣接フレームの動作先を用いて、閉鎖領域のより信頼性の高い監視を行う。 KITTI 2012、KITTI 2015、Sintel Clean、Sintel Finalデータセットの実験は、我々の手法の有効性を実証している。
  論文  参考訳（メタデータ） (2023-04-14T14:32:02Z)
• Blur Interpolation Transformer for Real-World Motion from Blur [52.10523711510876]
  本稿では, ボケの時間的相関を解き明かすために, 符号化されたブラー変換器(BiT)を提案する。 マルチスケール残留スウィン変圧器ブロックに基づいて、両端の時間的監督と時間対称なアンサンブル戦略を導入する。 さらに,1対1のぼやけたビデオペアの最初の実世界のデータセットを収集するハイブリッドカメラシステムを設計する。
  論文  参考訳（メタデータ） (2022-11-21T13:10:10Z)
• Motion-inductive Self-supervised Object Discovery in Videos [99.35664705038728]
  本稿では,連続的なRGBフレームの処理モデルを提案し,層状表現を用いて任意のフレーム間の光の流れを推定する。 3つの公開ビデオセグメンテーションデータセットにおいて,従来の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-01T08:38:28Z)
• Video Interpolation by Event-driven Anisotropic Adjustment of Optical Flow [11.914613556594725]
  イベント駆動型光フローの異方性調整によるビデオフレームのエンドツーエンドトレーニング手法A2OFを提案する。 具体的には、2つのフレーム間の複雑な動きをモデル化できる中間光学フローのための光フロー分布マスクを生成するためにイベントを使用する。
  論文  参考訳（メタデータ） (2022-08-19T02:31:33Z)
• Video Shadow Detection via Spatio-Temporal Interpolation Consistency Training [31.115226660100294]
  本稿では、ラベル付き画像とともにラベル付きビデオフレームを画像陰影検出ネットワークトレーニングに供給するフレームワークを提案する。 次に,画素ワイド分類における一般化の促進のために,空間的および時間的整合性の制約を導出する。 さらに,画像のマルチスケール影知識学習のためのスケール・アウェア・ネットワークを設計する。
  論文  参考訳（メタデータ） (2022-06-17T14:29:51Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。