論文の概要: WinDB: HMD-free and Distortion-free Panoptic Video Fixation Learning

• arxiv url: http://arxiv.org/abs/2305.13901v3
• Date: Wed, 27 Sep 2023 12:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 19:20:35.901755
• Title: WinDB: HMD-free and Distortion-free Panoptic Video Fixation Learning
• Title（参考訳）: WinDB: HMDフリーで歪みのないパノラマビデオ固定学習
• Authors: Guotao Wang, Chenglizhao Chen, Aimin Hao, Hong Qin, Deng-Ping Fan
• Abstract要約: 本稿では,パン光学ビデオのための動的ぼかし (WinDB) 固定コレクション手法を提案する。 225以上のカテゴリをカバーする300個のパノプティクスクリップを含む、新しいPanopticVideo-300データセットをリリースしました。 WinDBアプローチを使用すると、頻繁で集中的な“固定シフト”が存在します。
• 参考スコア（独自算出の注目度）: 70.15653649348674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To date, the widely adopted way to perform fixation collection in panoptic video is based on a head-mounted display (HMD), where users' fixations are collected while wearing an HMD to explore the given panoptic scene freely. However, this widely-used data collection method is insufficient for training deep models to accurately predict which regions in a given panoptic are most important when it contains intermittent salient events. The main reason is that there always exist "blind zooms" when using HMD to collect fixations since the users cannot keep spinning their heads to explore the entire panoptic scene all the time. Consequently, the collected fixations tend to be trapped in some local views, leaving the remaining areas to be the "blind zooms". Therefore, fixation data collected using HMD-based methods that accumulate local views cannot accurately represent the overall global importance - the main purpose of fixations - of complex panoptic scenes. To conquer, this paper introduces the auxiliary window with a dynamic blurring (WinDB) fixation collection approach for panoptic video, which doesn't need HMD and is able to well reflect the regional-wise importance degree. Using our WinDB approach, we have released a new PanopticVideo-300 dataset, containing 300 panoptic clips covering over 225 categories. Specifically, since using WinDB to collect fixations is blind zoom free, there exists frequent and intensive "fixation shifting" - a very special phenomenon that has long been overlooked by the previous research - in our new set. Thus, we present an effective fixation shifting network (FishNet) to conquer it. All these new fixation collection tool, dataset, and network could be very potential to open a new age for fixation-related research and applications in 360o environments.
• Abstract（参考訳）: これまで、パンオプティカルビデオで固定コレクションを行う方法は、ユーザがhmdを装着しながら固定を収集し、所定のパンオプティカルシーンを自由に探索するヘッドマウントディスプレイ(hmd)に基づいている。 しかし、この広範に使用されているデータ収集手法は、間欠的な有意なイベントを含む場合、与えられたパノプティクス内のどの領域が最も重要であるかを正確に予測する深層モデルの訓練には不十分である。 主な理由は、ユーザーが常に頭を動かしてパン光学シーン全体を探索できないため、HMDを使用して修正を収集する際、常に「盲ズーム」が存在するからである。 その結果、収集された固定は一部のローカルビューに閉じ込められがちであり、残りの領域は「盲ズーム」である。 したがって、局所的なビューを蓄積するHMDベースの手法を用いて収集された固定データは、複雑なパノプティクスシーンの全体的重要性 - 固定の主目的 - を正確に表すことはできない。 本稿では,HMDを必要とせず,地域的重要性の度合いを十分に反映できる,動的ぼかし (WinDB) によるパン光学ビデオのための補助窓を提案する。 WinDBアプローチを使用して、225以上のカテゴリをカバーする300のパノプティクスクリップを含む、新しいPanopticVideo-300データセットをリリースしました。 具体的には、ウィンドブを使って固定を収集することはブラインドズームが不要であるため、新しいセットでは頻繁に集中的に"固定シフト"(fixation shifting)という非常に特殊な現象が存在します。 そこで本稿では、FishNet(FishNet)による効率的な固定シフトネットワークを提案する。 これらの新しい固定収集ツール、データセット、およびネットワークは、360o環境における固定関連研究とアプリケーションのための新しい時代を開く大きな可能性を秘めている。

関連論文リスト

• Object-level Scene Deocclusion [92.39886029550286]
  オブジェクトレベルのシーン・デクルージョンのためのPArallel可視・コミュールト拡散フレームワークPACOを提案する。 PACOをトレーニングするために、500kサンプルの大規模なデータセットを作成し、自己教師付き学習を可能にします。 COCOAと様々な現実世界のシーンの実験では、PACOがシーンの排除に優れた能力を示し、芸術の状態をはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-11T20:34:10Z)
• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• Panonut360: A Head and Eye Tracking Dataset for Panoramic Video [0.0]
  15のパノラマ動画を50人のユーザが視聴する頭部と眼の追跡データセットを提示する。 データセットは、ビューポートの詳細を提供し、ユーザーの注意を向ける。 我々の分析では、視野に対する視線固定において、一貫した下向きのオフセットが明らかである。
  論文  参考訳（メタデータ） (2024-03-26T13:54:52Z)
• Multi-Modal Domain Adaptation Across Video Scenes for Temporal Video Grounding [59.599378814835205]
  時間的ビデオグラウンドリング(TVG)は、与えられた言語クエリに基づいて、特定のセグメントの時間的境界を未トリミングビデオにローカライズすることを目的としている。 そこで本研究では,対象データからの洞察を取り入れた新たなAMDA手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T07:49:27Z)
• Panoptic Video Scene Graph Generation [110.82362282102288]
  パン光学シーングラフ生成(PVSG)と呼ばれる新しい問題を提案し,研究する。 PVSGは、ビデオ内のバウンディングボックスで接地された人間とオブジェクト間の時間的相互作用に焦点を当てた、既存のビデオシーングラフ生成問題に関連している。 PVSGデータセットは400本(3人称289本+111本自撮り111本)からなり、合計150Kフレームに汎視的セグメンテーションマスクと微妙な時間的シーングラフをラベル付けした。
  論文  参考訳（メタデータ） (2023-11-28T18:59:57Z)
• Glitch in the Matrix: A Large Scale Benchmark for Content Driven Audio-Visual Forgery Detection and Localization [20.46053083071752]
  新しいデータセットであるLocalized Visual DeepFake (LAV-DF) の提案とベンチマークを行う。 LAV-DFは、戦略的コンテンツ駆動型オーディオ、ビジュアルおよびオーディオ視覚操作で構成されている。 提案するベースライン手法であるBundary Aware Temporal Forgery Detection (BA-TFD)は3次元畳み込みニューラルネットワークに基づくアーキテクチャである。
  論文  参考訳（メタデータ） (2023-05-03T08:48:45Z)
• NEWTON: Neural View-Centric Mapping for On-the-Fly Large-Scale SLAM [51.21564182169607]
  Newtonは、リアルタイム観測に基づいて動的にニューラルネットワークを構築するビュー中心のマッピング手法である。 本手法は,複数のニューラルネットワークを用いてシーンを表現することで,ループクロージャとシーン境界更新を用いたカメラポーズ更新を可能にする。 実験の結果,既存の世界中心型ニューラルネットワークSLAMシステムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-03-23T20:22:01Z)
• MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation [3.2489082010225494]
  単眼深度推定とビデオパノプティックセグメンテーションを行うマルチタスクネットワークを用いた新しいソリューションを提案する。 トレーニング信号の劣化を回避するため,物体を移動させるための新しいパノプティカルマスキング方式と,パノプティカル誘導による奥行き損失を導入した。
  論文  参考訳（メタデータ） (2022-10-14T07:00:42Z)
• A Fixation-based 360{\deg} Benchmark Dataset for Salient Object Detection [21.314578493964333]
  パノラマコンテンツ中の固定予測(FP)は、仮想現実(VR)アプリケーションの普及傾向とともに広く研究されている。 静止物体検出(SOD)は、実際のシーンを表すデータセットが欠如しているため、360度画像ではめったに探索されていない。
  論文  参考訳（メタデータ） (2020-01-22T11:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。