論文の概要: Learning Omnidirectional Flow in 360-degree Video via Siamese Representation

• arxiv url: http://arxiv.org/abs/2208.03620v1
• Date: Sun, 7 Aug 2022 02:24:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:20:28.275518
• Title: Learning Omnidirectional Flow in 360-degree Video via Siamese Representation
• Title（参考訳）: シームズ表現による360度ビデオにおける全方位流れの学習
• Authors: Keshav Bhandari, Bin Duan, Gaowen Liu, Hugo Latapie, Ziliang Zong, Yan Yan
• Abstract要約: 本稿では,360度視野を持つ最初の知覚合成全方位ベンチマークデータセットFLOW360を提案する。 我々はSLOF(Omnidirectional Flow)のための新しいSiamese表現学習フレームワークを提案する。 提案したフレームワークの有効性を検証し、最先端のアプローチに対して最大40%の性能改善を示す実験である。
• 参考スコア（独自算出の注目度）: 11.421244426346389
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Optical flow estimation in omnidirectional videos faces two significant issues: the lack of benchmark datasets and the challenge of adapting perspective video-based methods to accommodate the omnidirectional nature. This paper proposes the first perceptually natural-synthetic omnidirectional benchmark dataset with a 360-degree field of view, FLOW360, with 40 different videos and 4,000 video frames. We conduct comprehensive characteristic analysis and comparisons between our dataset and existing optical flow datasets, which manifest perceptual realism, uniqueness, and diversity. To accommodate the omnidirectional nature, we present a novel Siamese representation Learning framework for Omnidirectional Flow (SLOF). We train our network in a contrastive manner with a hybrid loss function that combines contrastive loss and optical flow loss. Extensive experiments verify the proposed framework's effectiveness and show up to 40% performance improvement over the state-of-the-art approaches. Our FLOW360 dataset and code are available at https://siamlof.github.io/.
• Abstract（参考訳）: 全方向ビデオにおける光学的フロー推定は、ベンチマークデータセットの欠如と、全方向の性質を満たすために視点ビデオベースの手法を適用することの2つの大きな問題に直面している。 本稿では,360度視野のフロー360と40種類のビデオと4,000本のビデオフレームを備えた,初めて知覚的に自然合成された全方位ベンチマークデータセットを提案する。 当社のデータセットと既存の光フローデータセットの包括的特徴解析と比較を行い,知覚的リアリズム,一意性,多様性を呈する。 全方向性に対応するため,SLOF(Omnidirectional Flow)のための新しいSiamese表現学習フレームワークを提案する。 我々は、コントラスト損失と光フロー損失を組み合わせたハイブリッド損失関数を用いて、コントラスト方式でネットワークを訓練する。 大規模な実験により提案されたフレームワークの有効性が検証され、最先端のアプローチよりも40%パフォーマンスが向上した。 flow360のデータセットとコードは、https://siamlof.github.io/で利用可能です。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• 360VFI: A Dataset and Benchmark for Omnidirectional Video Frame Interpolation [13.122586587748218]
  本稿では,Omnidirectional Video Frame Interpolationのためのベンチマークデータセットである360VFIを紹介する。 本稿では,全方向ビデオの歪みをネットワークに導入し,歪みを変調する実用的な実装を提案する。
  論文  参考訳（メタデータ） (2024-07-19T06:50:24Z)
• BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
  本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。 我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。 実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
  論文  参考訳（メタデータ） (2024-07-03T22:41:49Z)
• Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow [25.23550076996421]
  本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。 モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。 また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
  論文  参考訳（メタデータ） (2023-10-03T06:56:07Z)
• Spherical Vision Transformer for 360-degree Video Saliency Prediction [17.948179628551376]
  本稿では,SalViT360という全方向ビデオのための視覚変換器モデルを提案する。 球面形状を意識した自己認識機構を導入し,全方向の映像を効果的に理解する。 本手法は,全方位の塩分濃度予測にタンジェント画像を用いた最初の試みであり,3つのODV塩分濃度データセットによる実験結果から,最先端の塩分濃度予測と比較して,その有効性を示した。
  論文  参考訳（メタデータ） (2023-08-24T18:07:37Z)
• Optical Flow Estimation in 360$^\circ$ Videos: Dataset, Model and Application [9.99133340779672]
  視覚的にも現実的な最初の360$$$of-viewビデオベンチマークデータセット、すなわちFLOW360を提案する。 本稿では,SLOF(Omnidirectional Flow)推定のための新しいSiamese表現学習フレームワークを提案する。 この学習手法は,自我中心のアクティビティ認識タスクにシアム学習スキームと全方位光フロー推定を拡張することによって,より効率的であることがさらに証明された。
  論文  参考訳（メタデータ） (2023-01-27T17:50:09Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:38:52Z)
• Learning optical flow from still images [53.295332513139925]
  我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。 既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。 我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:58Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。