論文の概要: Revealing Disocclusions in Temporal View Synthesis through Infilling Vector Prediction

• arxiv url: http://arxiv.org/abs/2110.08805v1
• Date: Sun, 17 Oct 2021 12:11:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 17:26:10.361717
• Title: Revealing Disocclusions in Temporal View Synthesis through Infilling Vector Prediction
• Title（参考訳）: 埋込ベクトル予測による時間ビュー合成における解離の探索
• Authors: Vijayalakshmi Kanchana, Nagabhushan Somraj, Suraj Yadwad, Rajiv Soundararajan
• Abstract要約: 合成ビューにおいて非排除領域を指差して, 埋め込みベクトルのアイデアを考察する。 カメラの動きによって生じる非閉塞性の構造を生かし, 2つの重要な手がかり, 浸透方向と深さの時間的相関に頼っている。
• 参考スコア（独自算出の注目度）: 6.51882364384472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of temporal view synthesis, where the goal is to predict a future video frame from the past frames using knowledge of the depth and relative camera motion. In contrast to revealing the disoccluded regions through intensity based infilling, we study the idea of an infilling vector to infill by pointing to a non-disoccluded region in the synthesized view. To exploit the structure of disocclusions created by camera motion during their infilling, we rely on two important cues, temporal correlation of infilling directions and depth. We design a learning framework to predict the infilling vector by computing a temporal prior that reflects past infilling directions and a normalized depth map as input to the network. We conduct extensive experiments on a large scale dataset we build for evaluating temporal view synthesis in addition to the SceneNet RGB-D dataset. Our experiments demonstrate that our infilling vector prediction approach achieves superior quantitative and qualitative infilling performance compared to other approaches in literature.
• Abstract（参考訳）: 本研究では,深度と相対的カメラ動作の知識を用いて,過去のフレームから将来の映像フレームを予測することを目的とした時間的視点合成の問題を考える。 インフィル化の強度に基づくインフィル化による不透明領域の解明とは対照的に, インフィルへのインフィル化ベクトルの考え方を, 合成ビュー内の非拡散領域を指差して検討する。 カメラの動きによって生じる非閉塞構造を生かし, 2つの重要な手がかり, 浸透方向と深さの時間的相関に頼っている。 ネットワークへの入力として過去の埋め込み方向と正規化深度マップを反映した時間的事前計算により、埋め込みベクトルを予測するための学習フレームワークを設計する。 我々は、SceneNet RGB-Dデータセットに加えて、時間的ビュー合成を評価するために構築した大規模データセットに関する広範な実験を行う。 実験により,本手法は文献の他の手法と比較して,定量および定性的埋込性能に優れることを示した。

関連論文リスト

• Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
  本研究は,映像深度推定の課題に対処する。 我々は予測タスクを条件付き生成問題に再構成する。 これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
  論文  参考訳（メタデータ） (2024-06-03T16:20:24Z)
• DynPoint: Dynamic Neural Point For View Synthesis [45.44096876841621]
  我々は、制約のないモノクロビデオのための新しいビューの迅速な合成を容易にするアルゴリズムであるDynPointを提案する。 DynPointは、情報集約を実現するために、隣接するフレーム間の明示的な3D対応を予測することに集中している。 本手法は,ビデオコンテンツの正規表現を学習することなく,長時間の動画処理において強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-10-29T12:55:53Z)
• DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium [11.78276690882616]
  自己教師付き多フレーム深度推定は,隣接フレーム間の画素対応のマッチングコストの計算により高い精度を実現する。 本稿では,フィードバックループを通した深度とポーズを密に結合するDualモデルを提案する。 我々の新しい更新パイプラインは、奥行き推定と特徴マップの隠れ状態を反復的に洗練するために、深い平衡モデルフレームワークを使用します。
  論文  参考訳（メタデータ） (2023-04-07T09:46:29Z)
• Uncovering the Missing Pattern: Unified Framework Towards Trajectory Imputation and Prediction [60.60223171143206]
  軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。 現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。 本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-28T14:27:27Z)
• STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
  ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。 提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。 マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
  論文  参考訳（メタデータ） (2023-03-02T12:22:51Z)
• TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction [64.63645677568384]
  本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。 提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。 私たちのコードはGitHubで公開されます。
  論文  参考訳（メタデータ） (2023-01-05T22:10:16Z)
• On the Sins of Image Synthesis Loss for Self-supervised Depth Estimation [60.780823530087446]
  画像合成の改善は深度推定の改善を必要としないことを示す。 この発散現象は、データから生じるアレラトリックな不確実性に起因している。 この観察された発散は、以前に報告されたり、深く研究されたりしていない。
  論文  参考訳（メタデータ） (2021-09-13T17:57:24Z)
• Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
  本研究では,単眼深度推定器SC-Depthを提案する。 スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。 提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
  論文  参考訳（メタデータ） (2021-05-25T02:17:56Z)
• Organization of a Latent Space structure in VAE/GAN trained by navigation data [0.0]
  生成深部ニューラルネットワーク(VAE/GAN)を用いた新しい人工知能マッピングシステムを提案する。 予測画像の距離はトレーニング後の対応する潜伏ベクトルの距離に反映されることを示す。 本研究は,海馬のリプレイ・プレプレイに類似した時間的シーケンスを内部的に生成することを可能にする。
  論文  参考訳（メタデータ） (2021-02-03T03:13:26Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)
• Interpretation of Deep Temporal Representations by Selective Visualization of Internally Activated Nodes [24.228613156037532]
  深層ニューラルネットワークから学習した時間的表現を可視化する2つの新しいフレームワークを提案する。 我々のアルゴリズムは、高度に活性化された周期を抽出することで、時間的ニューラルネットワークの決定を解釈する。 このようなサブシーケンスをクラスタリングで特徴付け、提案した型と実際のデータの不確実性を計算する。
  論文  参考訳（メタデータ） (2020-04-27T01:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。