論文の概要: FishDreamer: Towards Fisheye Semantic Completion via Unified Image Outpainting and Segmentation

• arxiv url: http://arxiv.org/abs/2303.13842v2
• Date: Thu, 20 Apr 2023 12:27:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 16:21:22.114033
• Title: FishDreamer: Towards Fisheye Semantic Completion via Unified Image Outpainting and Segmentation
• Title（参考訳）: fishdreamer: 画像の切り出しとセグメンテーションの統合による魚眼意味完成に向けて
• Authors: Hao Shi, Yu Li, Kailun Yang, Jiaming Zhang, Kunyu Peng, Alina Roitberg, Yaozu Ye, Huajian Ni, Kaiwei Wang, Rainer Stiefelhagen
• Abstract要約: 本稿では,魚眼画像の密接なテクスチャ,構造,意味を,センサ・フィールド・オブ・ビュー(FoV)を超えても推測する,魚眼セマンティック・コンプリート(FSC)の新たな課題を提起する。 そこで本研究では,Pola-Aware Cross Attention Module (PCA) によって拡張されたViTsを利用して,密集したコンテキストを活用し,意味的に一貫性のあるコンテンツ生成をガイドする新しいFishDreamerを提案する。
• 参考スコア（独自算出の注目度）: 33.71849096992972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper raises the new task of Fisheye Semantic Completion (FSC), where dense texture, structure, and semantics of a fisheye image are inferred even beyond the sensor field-of-view (FoV). Fisheye cameras have larger FoV than ordinary pinhole cameras, yet its unique special imaging model naturally leads to a blind area at the edge of the image plane. This is suboptimal for safety-critical applications since important perception tasks, such as semantic segmentation, become very challenging within the blind zone. Previous works considered the out-FoV outpainting and in-FoV segmentation separately. However, we observe that these two tasks are actually closely coupled. To jointly estimate the tightly intertwined complete fisheye image and scene semantics, we introduce the new FishDreamer which relies on successful ViTs enhanced with a novel Polar-aware Cross Attention module (PCA) to leverage dense context and guide semantically-consistent content generation while considering different polar distributions. In addition to the contribution of the novel task and architecture, we also derive Cityscapes-BF and KITTI360-BF datasets to facilitate training and evaluation of this new track. Our experiments demonstrate that the proposed FishDreamer outperforms methods solving each task in isolation and surpasses alternative approaches on the Fisheye Semantic Completion. Code and datasets are publicly available at https://github.com/MasterHow/FishDreamer.
• Abstract（参考訳）: 本稿では,魚眼画像の密接なテクスチャ,構造,意味を,センサ・フィールド・オブ・ビュー(FoV)を超えて推定する,魚眼セマンティック・コンプリート(FSC)の新たな課題を提起する。 魚眼カメラは通常のピンホールカメラよりもfovが大きいが、そのユニークな特殊な撮像モデルは、画像平面の端にある盲目領域を自然に導く。 これは、セマンティックセグメンテーションのような重要な知覚タスクがブラインドゾーン内で非常に困難になるため、安全クリティカルなアプリケーションには最適である。 以前の作品では、アウトFoVのアウトペイントとインFoVのセグメンテーションは別々に検討されていた。 しかし、これらの2つのタスクは実際には密結合である。 魚眼画像とシーン意味論の密接な絡み合いを共同評価するために,新たな極性認識クロスアテンションモジュール (pca) により拡張されたvitsを活用して,異なる極性分布を考慮しつつ,密接な文脈と意味的一貫性のあるコンテンツ生成をガイドする新しい魚眼モデルを提案する。 新たなタスクとアーキテクチャの貢献に加えて,Cityscapes-BFとKITTI360-BFデータセットを導出して,この新しいトラックのトレーニングと評価を容易にする。 実験により,提案手法が各課題を単独で解決する手法を上回り,魚眼意味補完の代替手法を上回ったことを示す。 コードとデータセットはhttps://github.com/masterhow/fishdreamerで公開されている。

関連論文リスト

• SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning [105.01294305972037]
  自己教師型表現学習に基づく魚眼画像修正のためのフレームワークであるSimFIRを紹介する。 まず魚眼画像を複数のパッチに分割し,その表現を視覚変換器で抽出する。 下流修正作業における転送性能が著しく向上し、学習された表現の有効性が検証される。
  論文  参考訳（メタデータ） (2023-08-17T15:20:17Z)
• FisheyeEX: Polar Outpainting for Extending the FoV of Fisheye Lens [84.12722334460022]
  魚眼レンズは、広視野(FoV)のため、計算写真や運転支援における応用が増大する 本稿では,魚眼レンズのFoVを拡張した魚眼EX法を提案する。 以上の結果から,本手法は従来の魚眼画像よりも27%多く,最先端の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-06-12T21:38:50Z)
• SLIDE: Single Image 3D Photography with Soft Layering and Depth-aware Inpainting [54.419266357283966]
  シングルイメージの3D写真は、視聴者が新しい視点から静止画を見ることを可能にする。 最近のアプローチでは、単分子深度ネットワークと塗装ネットワークを組み合わせることで、説得力のある結果が得られる。 単一画像3D撮影のためのモジュール・統一システムであるSLIDEについて述べる。
  論文  参考訳（メタデータ） (2021-09-02T16:37:20Z)
• Memory-Augmented Reinforcement Learning for Image-Goal Navigation [67.3963444878746]
  本論文では,クロスエピソードメモリを活用したナビゲーション学習法を提案する。 オーバーフィッティングを避けるため、トレーニング中にRGB入力にデータ拡張を適用することを提案する。 この競合性能はRGB入力のみから得られるが,位置や深度などのセンサは利用できない。
  論文  参考訳（メタデータ） (2021-01-13T16:30:20Z)
• SynDistNet: Self-Supervised Monocular Fisheye Camera Distance Estimation Synergized with Semantic Segmentation for Autonomous Driving [37.50089104051591]
  モノクル深度推定のための最先端の自己教師型学習アプローチは、通常、スケールの曖昧さに悩まされる。 本稿では,魚眼カメラ画像とピンホールカメラ画像の自己教師付き単眼距離推定を改善するための,新しいマルチタスク学習手法を提案する。
  論文  参考訳（メタデータ） (2020-08-10T10:52:47Z)
• BEV-Seg: Bird's Eye View Semantic Segmentation Using Geometry and Semantic Point Cloud [21.29622194272066]
  我々は,BEVにおける画素単位のセマンティックセマンティックセマンティックセマンティクスを予測するタスクである,鳥の目の意味セマンティクスセマンティクスに着目した。 このタスクには、サイドビューからバードビューへのビュー変換と、未確認領域への学習の移行という2つの大きな課題がある。 新たな2段階認識パイプラインは,画素深度を明示的に予測し,効率よく画素セマンティクスと組み合わせる。
  論文  参考訳（メタデータ） (2020-06-19T23:30:11Z)
• Example-Guided Image Synthesis across Arbitrary Scenes using Masked Spatial-Channel Attention and Self-Supervision [83.33283892171562]
  実例誘導画像合成は,最近セマンティックラベルマップと模範画像から画像を合成するために試みられている。 本稿では,ラベルマップと意味的に異なる任意のシーンイメージを例に,より困難で汎用的な課題に取り組む。 本稿では,グローバル・ローカルな特徴アライメントと合成のためのエンドツーエンドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-18T18:17:40Z)
• SilhoNet-Fisheye: Adaptation of A ROI Based Object Pose Estimation Network to Monocular Fisheye Images [15.573003283204958]
  本稿では、ROIに基づく6Dオブジェクトのポーズ推定手法を魚眼画像に適用するための新しいフレームワークを提案する。 また、6Dオブジェクトポーズと2Dバウンディングボックスアノテーションを備えたUWHandlesと呼ばれる魚眼画像データセットも提供しています。
  論文  参考訳（メタデータ） (2020-02-27T19:57:33Z)
• Universal Semantic Segmentation for Fisheye Urban Driving Images [6.56742346304883]
  魚眼画像に変換するために,7自由度拡張法を提案する。 トレーニングプロセスでは、リチリニア画像を7つのDoFで魚眼画像に変換し、異なる位置、向き、焦点距離のカメラで撮影した魚眼画像をシミュレートする。 その結果, 異なる変形魚眼データに対するモデル精度とロバスト性を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-01-31T11:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。