論文の概要: ScanGAN360: A Generative Model of Realistic Scanpaths for 360$^{\circ}$ Images

• arxiv url: http://arxiv.org/abs/2103.13922v1
• Date: Thu, 25 Mar 2021 15:34:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:25:58.212639
• Title: ScanGAN360: A Generative Model of Realistic Scanpaths for 360$^{\circ}$ Images
• Title（参考訳）: ScanGAN360: 360$^{\circ}$画像のための実写Scanpathの生成モデル
• Authors: Daniel Martin, Ana Serrano, Alexander W. Bergman, Gordon Wetzstein, Belen Masia
• Abstract要約: ScanGAN360は,360ドル周画像のスキャンパスを生成するための,新たな生成逆解析手法である。 我々は,損失関数として動的時間ゆがみの球面適応を利用することにより,これを実現する。 私たちのスキャンパスの品質は、競合するアプローチを大きなマージンで上回り、人間のベースラインとほぼ同等です。
• 参考スコア（独自算出の注目度）: 92.8211658773467
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding and modeling the dynamics of human gaze behavior in 360$^\circ$ environments is a key challenge in computer vision and virtual reality. Generative adversarial approaches could alleviate this challenge by generating a large number of possible scanpaths for unseen images. Existing methods for scanpath generation, however, do not adequately predict realistic scanpaths for 360$^\circ$ images. We present ScanGAN360, a new generative adversarial approach to address this challenging problem. Our network generator is tailored to the specifics of 360$^\circ$ images representing immersive environments. Specifically, we accomplish this by leveraging the use of a spherical adaptation of dynamic-time warping as a loss function and proposing a novel parameterization of 360$^\circ$ scanpaths. The quality of our scanpaths outperforms competing approaches by a large margin and is almost on par with the human baseline. ScanGAN360 thus allows fast simulation of large numbers of virtual observers, whose behavior mimics real users, enabling a better understanding of gaze behavior and novel applications in virtual scene design.
• Abstract（参考訳）: 360$^\circ$環境における人間の視線行動のダイナミクスの理解とモデリングは、コンピュータビジョンと仮想現実において重要な課題である。 生成的敵対的アプローチは、見えない画像のスキャンパスを多数生成することで、この課題を軽減することができる。 しかし、既存のスキャンパス生成法は、360$^\circ$画像の現実的なスキャンパスを適切に予測していない。 ScanGAN360は、この課題に対処するための新たな生成的対逆アプローチである。 私たちのネットワークジェネレータは没入環境を表す360$^\circ$イメージの仕様に合わせて調整されています。 具体的には,動的時間ゆがみの球面適応を損失関数として利用し,360$^\circ$スカンパスの新しいパラメータ化を提案する。 私たちのスキャンパスの品質は、競合するアプローチを大きなマージンで上回り、人間のベースラインとほぼ同等です。 ScanGAN360は、実際のユーザを模倣する多数の仮想オブザーバの高速なシミュレーションを可能にし、仮想シーン設計における視線行動と新しい応用の理解を深める。

関連論文リスト

• Pathformer3D: A 3D Scanpath Transformer for 360° Images [1.8857725185112681]
  360deg画像の既存のスキャンパス予測モデルは、2次元の正方形射影平面上でスキャンパス予測を実行するが、これは常に2次元平面の歪みと座標の不連続により大きな誤差をもたらす。 本研究では,3次元球面座標系における360deg画像の走査パス予測を行い,新しい3次元走査パス変換器Pathformer3Dを提案する。
  論文  参考訳（メタデータ） (2024-07-15T09:24:27Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• DiffGaze: A Diffusion Model for Continuous Gaze Sequence Generation on 360° Images [17.714378486267055]
  DiffGazeは、360deg画像上で、現実的で多様な連続した人間の視線シーケンスを生成する新しい方法である。 評価の結果,DiffGazeはすべてのタスクにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-26T08:13:02Z)
• 360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries [24.345954562946385]
  本稿では,視覚的ローカライゼーションのための地平線ポーズを持つ360$circ$画像からなる新しいベンチマークデータセットである360Locを紹介する。 360$circ$画像から低FoVクエリフレームを生成するための仮想カメラ手法を提案する。 一方向の視覚的ローカライゼーションは、対称性と繰り返し構造を持つ大規模シーンに挑戦する上で、より堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-11-29T06:42:12Z)
• Perceptual Quality Assessment of 360$^\circ$ Images Based on Generative Scanpath Representation [40.00063797833765]
  360$circ$画像の品質を効果的に推定するための一意な生成性スキャンパス表現(GSR)を導入する。 GSRは、予め定義された視聴条件下で、多義語利用者の知覚経験を集約する。 そこで我々は,高品質マップGSRを学習し,効率的なOIQA計算フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-07T04:10:30Z)
• Autoregressive Omni-Aware Outpainting for Open-Vocabulary 360-Degree Image Generation [36.45222068699805]
  AOG-Netは、NFoVとテキストガイダンスを併用または個別に、不完全な画像を段階的に描画することで、360度画像生成のために提案される。 各自己回帰ステップにおいて、アウトペイントガイダンスを定式化するために、グローバルローカルコンディショニング機構が考案された。 室内と屋外の両方でよく使用される2つの360度画像データセットに関する総合実験により,提案手法の最先端性能が実証された。
  論文  参考訳（メタデータ） (2023-09-07T03:22:59Z)
• NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes [59.15910989235392]
  屋外シーンのスパースビュー合成のためのNeO 360, Neural Fieldを紹介する。 NeO 360は、単一のまたは少数のRGB画像から360degのシーンを再構成する一般化可能な方法である。 我々の表現は、Voxel-basedとBird's-eye-view (BEV)の両方の表現の長所を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-24T17:59:50Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360{\deg} Views [77.93662205673297]
  本研究では,1枚の画像を3Dオブジェクトに持ち上げるという課題について検討する。 所定の参照画像とよく一致する360度ビューを持つ可視3Dオブジェクトを生成する能力を示す。 本稿では,深度を考慮した放射率表現を用いたニューラルLift-360という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-29T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。