論文の概要: Synfeal: A Data-Driven Simulator for End-to-End Camera Localization
- arxiv url: http://arxiv.org/abs/2305.18260v1
- Date: Mon, 29 May 2023 17:29:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 13:54:08.785987
- Title: Synfeal: A Data-Driven Simulator for End-to-End Camera Localization
- Title（参考訳）: Synfeal: エンドツーエンドカメラローカライゼーションのためのデータ駆動シミュレータ
- Authors: Daniel Coelho, Miguel Oliveira, and Paulo Dias
- Abstract要約: 実世界の現実的な3次元再構成に基づいて,大規模な局所化データセットを合成するフレームワークを提案する。
我々のフレームワークであるSynfealは、リアルな3Dテクスチャメッシュを介して仮想カメラを移動させることで、RGB画像を合成するオープンソースのデータ駆動シミュレータである。
結果は、Synfealが生成したデータセットに対するカメラローカライゼーションアルゴリズムのトレーニングが、最先端の手法によって生成されたデータセットと比較して、より良い結果をもたらすことを検証した。
- 参考スコア（独自算出の注目度）: 0.9749560288448114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collecting real-world data is often considered the bottleneck of Artificial
Intelligence, stalling the research progress in several fields, one of which is
camera localization. End-to-end camera localization methods are still
outperformed by traditional methods, and we argue that the inconsistencies
associated with the data collection techniques are restraining the potential of
end-to-end methods. Inspired by the recent data-centric paradigm, we propose a
framework that synthesizes large localization datasets based on realistic 3D
reconstructions of the real world. Our framework, termed Synfeal: Synthetic
from Real, is an open-source, data-driven simulator that synthesizes RGB images
by moving a virtual camera through a realistic 3D textured mesh, while
collecting the corresponding ground-truth camera poses. The results validate
that the training of camera localization algorithms on datasets generated by
Synfeal leads to better results when compared to datasets generated by
state-of-the-art methods. Using Synfeal, we conducted the first analysis of the
relationship between the size of the dataset and the performance of camera
localization algorithms. Results show that the performance significantly
increases with the dataset size. Our results also suggest that when a large
localization dataset with high quality is available, training from scratch
leads to better performances. Synfeal is publicly available at
https://github.com/DanielCoelho112/synfeal.
- Abstract（参考訳）: 現実世界のデータ収集は人工知能のボトルネックと見なされることが多く、いくつかの分野で研究の進歩が停滞している。
エンド・ツー・エンド・カメラのローカライズ手法は従来手法よりも優れており,データ収集手法にまつわる不整合は,エンド・ツー・エンド手法の可能性を抑制していると論じる。
最近のデータ中心パラダイムに触発されて,実世界の現実的な3次元再構成に基づく大規模ローカライゼーションデータセットを合成する枠組みを提案する。
synfeal: synthetic from realと呼ばれるこのフレームワークは、オープンソースのデータ駆動シミュレーターで、仮想カメラをリアルな3dテクスチャドメッシュで動かし、対応する接地カメラのポーズを収集し、rgbイメージを合成します。
その結果,synfealが生成するデータセットに対するカメラローカライズアルゴリズムのトレーニングは,最先端手法が生成するデータセットと比較して優れた結果をもたらすことがわかった。
そこで本研究では,synfealを用いて,データセットのサイズとカメラ位置推定アルゴリズムの性能の関係について,最初の解析を行った。
その結果,データセットサイズによって性能が著しく向上した。
また,高品質な大規模なローカライゼーションデータセットが利用可能であれば,スクラッチからのトレーニングによってパフォーマンスが向上することが示唆された。
Synfealはhttps://github.com/DanielCoelho112/synfeal.comで公開されている。
関連論文リスト
- GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring [50.72230109855628]
本稿では,新しい手法を用いて合成されたリアルなぼやけた画像のデータセットであるGS-Blurを提案する。
まず,3Dガウス・スプレイティング(3DGS)を用いて多視点画像から3Dシーンを再構成し,ランダムに生成された運動軌跡に沿ってカメラビューを移動させてぼやけた画像を描画する。
GS-Blurの再構築に様々なカメラトラジェクトリを採用することで、我々のデータセットは現実的で多様な種類のぼかしを含み、現実世界のぼかしをうまく一般化する大規模なデータセットを提供する。
論文 参考訳（メタデータ） (2024-10-31T06:17:16Z) - Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳（メタデータ） (2024-03-23T22:32:06Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳（メタデータ） (2023-11-30T21:34:44Z) - A New Benchmark: On the Utility of Synthetic Data with Blender for Bare
Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。
制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。
これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
論文 参考訳（メタデータ） (2023-03-16T09:03:52Z) - FSID: Fully Synthetic Image Denoising via Procedural Scene Generation [12.277286575812441]
低レベルの視覚タスクに適した手続き型合成データ生成パイプラインとデータセットを開発する。
我々のUnrealエンジンベースの合成データパイプラインは、ランダムな3Dオブジェクト、材料、幾何学的変換の組み合わせで、大きなシーンをアルゴリズムで生成します。
そこで我々は,CNNに基づく復調モデルの訓練と検証を行い,この合成データのみを用いてトレーニングしたモデルが競争性のある復調結果が得られることを示した。
論文 参考訳（メタデータ） (2022-12-07T21:21:55Z) - Towards Real-World Video Deblurring by Exploring Blur Formation Process [53.91239555063343]
近年、深層学習に基づくアプローチは、ビデオデブロアリングタスクにおいて有望な成功を収めている。
既存の合成データセットで訓練されたモデルは、現実世界のぼやけたシナリオよりも一般化の問題に悩まされている。
本稿では, RAW-Blur と呼ばれる, ぼかし生成の手がかりを生かして, 現実的なぼかし合成パイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-28T09:24:52Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - CrossLoc: Scalable Aerial Localization Assisted by Multimodal Synthetic
Data [2.554905387213586]
本稿では,合成データを用いて実世界のカメラポーズを推定する視覚的位置決めシステムを提案する。
データ不足を緩和するために,汎用な合成データ生成ツールTOPO-DataGenを導入する。
また、ポーズ推定のためのクロスモーダル視覚表現学習手法であるCrossLocを導入する。
論文 参考訳（メタデータ） (2021-12-16T18:05:48Z) - Semi-synthesis: A fast way to produce effective datasets for stereo
matching [16.602343511350252]
現実に近いテクスチャレンダリングは、ステレオマッチングのパフォーマンスを高める重要な要素です。
実物に近いテクスチャーで大量のデータを合成する効果的かつ高速な方法である半合成法を提案します。
実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。
論文 参考訳（メタデータ） (2021-01-26T14:34:49Z) - Detection and Segmentation of Custom Objects using High Distraction
Photorealistic Synthetic Data [0.5076419064097732]
合成データを用いてインスタンスセグメンテーションを行うための簡便で有用な手法を示す。
目標は、カスタムオブジェクトの実際のデータを手動で収集し、注釈付けすることで、高いパフォーマンスを達成することである。
このホワイトペーパーは、光実写シミュレーションデータが現実の応用に利用できるという強い証拠を提供する。
論文 参考訳（メタデータ） (2020-07-28T16:33:42Z) - CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。
リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-03-17T15:20:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。