論文の概要: Monocular Dynamic View Synthesis: A Reality Check

• arxiv url: http://arxiv.org/abs/2210.13445v1
• Date: Mon, 24 Oct 2022 17:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 17:56:11.779874
• Title: Monocular Dynamic View Synthesis: A Reality Check
• Title（参考訳）: モノキュラーダイナミックビュー合成:現実チェック
• Authors: Hang Gao, Ruilong Li, Shubham Tulsiani, Bryan Russell, Angjoo Kanazawa
• Abstract要約: 本稿では,実測処理と既存の実験プロトコルの相違点を示す。 我々は、入力キャプチャーシーケンスに存在するマルチビュー信号の量を定量化するために、効果的なマルチビュー因子(EMF)を定義する。 また,より多様な実生活の変形シーケンスを含む新しいiPhoneデータセットを提案する。
• 参考スコア（独自算出の注目度）: 45.438135525140154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the recent progress on dynamic view synthesis (DVS) from monocular video. Though existing approaches have demonstrated impressive results, we show a discrepancy between the practical capture process and the existing experimental protocols, which effectively leaks in multi-view signals during training. We define effective multi-view factors (EMFs) to quantify the amount of multi-view signal present in the input capture sequence based on the relative camera-scene motion. We introduce two new metrics: co-visibility masked image metrics and correspondence accuracy, which overcome the issue in existing protocols. We also propose a new iPhone dataset that includes more diverse real-life deformation sequences. Using our proposed experimental protocol, we show that the state-of-the-art approaches observe a 1-2 dB drop in masked PSNR in the absence of multi-view cues and 4-5 dB drop when modeling complex motion. Code and data can be found at https://hangg7.com/dycheck.
• Abstract（参考訳）: モノクロビデオからの動的ビュー合成(DVS)の最近の進歩について検討する。 既存のアプローチは目覚ましい結果を示したが、実測と既存の実験プロトコルの相違が示され、訓練中にマルチビュー信号が効果的に漏洩する。 我々は,カメラシーンの相対的な動きに基づいて,入力キャプチャシーケンスに存在するマルチビュー信号の量を定量化するために,効果的なマルチビュー因子(EMF)を定義する。 我々は、既存のプロトコルの問題を克服する2つの新しいメトリクス、共可視マスキング画像メトリクスと対応精度を導入する。 また,より多様な変形シーケンスを含む新しいiphoneデータセットを提案する。 提案手法を用いて, 複雑な動きをモデル化する際に, マスク付きPSNRの1-2dB滴と4-5dB滴が欠如していることが実証された。 コードとデータはhttps://hangg7.com/dycheckで確認できる。

関連論文リスト

• Multi-View People Detection in Large Scenes via Supervised View-Wise Contribution Weighting [44.48514301889318]
  本稿では、教師付きビューワイドコントリビューション重み付け手法の開発により、多視点人物検出の改善に焦点をあてる。 モデルの一般化能力を高めるために、大規模な合成データセットが採用されている。 実験により,提案手法が有望な多面的人物検出性能の実現に有効であることを実証した。
  論文  参考訳（メタデータ） (2024-05-30T11:03:27Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• DVANet: Disentangling View and Action Features for Multi-View Action Recognition [56.283944756315066]
  本稿では,学習した行動表現を映像中の視覚関連情報から切り離すための多視点行動認識手法を提案する。 本モデルとトレーニング方法は,4つの多視点行動認識データセットにおいて,他のユニモーダルモデルよりも有意に優れている。
  論文  参考訳（メタデータ） (2023-12-10T01:19:48Z)
• Efficient View Synthesis and 3D-based Multi-Frame Denoising with Multiplane Feature Representations [1.18885605647513]
  本稿では,3Dベースのマルチフレームデノベーション手法を初めて導入し,より少ない計算量で2Dベースのデノベーションを著しく上回った。 特徴空間に多面体を操作する学習可能なエンコーダ-レンダペアを導入することにより,新しいビュー合成のための多面体画像(MPI)フレームワークを拡張した。
  論文  参考訳（メタデータ） (2023-03-31T15:23:35Z)
• MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras [98.40768911788854]
  4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。 私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。 複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
  論文  参考訳（メタデータ） (2021-06-08T16:03:50Z)
• Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition [86.31412529187243]
  わずかにラベル付きサンプルで新しいアクションを学習することを目的としたビデオ認識はほとんどない。 本稿では,AMeFu-Netと呼ばれる映像認識のための深度誘導型適応メタフュージョンネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T03:06:20Z)
• SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning [114.58986229852489]
  本稿では,空間的,シーケンシャル,時間的観点から,シーケンスの基本的および汎用的な監視について検討する。 私たちはContrastive Learning(SeCo)という特定の形式を導き出します。 SeCoは、アクション認識、未トリムアクティビティ認識、オブジェクト追跡に関する線形プロトコルにおいて、優れた結果を示す。
  論文  参考訳（メタデータ） (2020-08-03T15:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。