論文の概要: ADFactory: Automated Data Factory for Optical Flow Tasks
- arxiv url: http://arxiv.org/abs/2311.04246v1
- Date: Tue, 7 Nov 2023 05:21:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 18:23:18.794601
- Title: ADFactory: Automated Data Factory for Optical Flow Tasks
- Title(参考訳): ADFactory:光フロータスクのための自動データファクトリ
- Authors: Han Ling
- Abstract要約: 本稿では,対象データ領域上の光フローネットワークを効率的に学習できる新しい光フロートレーニングフレームワークを提案する。
具体的には、高度なNerf技術を用いて、モノクロカメラで収集した写真群からシーンを再構築する。
我々は、Nerfの再構成品質、光学フローラベルの視覚的整合性、再構成深度整合性など、様々な側面から生成されたトレーニングデータをスクリーニングする。
- 参考スコア(独自算出の注目度): 0.4532517021515834
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A major challenge faced by current optical flow methods is the difficulty in
generalizing them well into the real world, mainly due to the high production
cost of datasets, which currently do not have a large real-world optical flow
dataset. To address this challenge, we introduce a novel optical flow training
framework that can efficiently train optical flow networks on the target data
domain without manual annotation. Specifically, we use advanced Nerf technology
to reconstruct scenes from photo groups collected by monocular cameras, and
calculate the optical flow results between camera pose pairs from the rendered
results. On this basis, we screen the generated training data from various
aspects such as Nerf's reconstruction quality, visual consistency of optical
flow labels, reconstruction depth consistency, etc. The filtered training data
can be directly used for network supervision. Experimentally, the
generalization ability of our scheme on KITTI surpasses existing
self-supervised optical flow and monocular scene flow algorithms. Moreover, it
can always surpass most supervised methods in real-world zero-point
generalization evaluation.
- Abstract(参考訳): 現在のオプティカルフロー手法が直面する大きな課題は、大きな実世界のオプティカルフローデータセットを持たないデータセットの生産コストが高いことによる、それらを現実世界にうまく一般化することの難しさである。
この課題に対処するために,手動のアノテーションを使わずに,対象データ領域上の光フローネットワークを効率的に学習できる新しい光フロートレーニングフレームワークを提案する。
具体的には、単眼カメラで収集した写真群からシーンを再構成し、得られた結果からカメラポーズ対間の光フロー結果を算出するために、高度なnerf技術を用いる。
本研究では,Nerfの再構成品質,光フローラベルの視覚的整合性,再構成深度整合性など,様々な側面から生成されたトレーニングデータをスクリーニングする。
フィルタされたトレーニングデータは、直接ネットワーク監視に使用できる。
実験により,KITTIにおける提案手法の一般化能力は,既存の自己監督型光フローとモノクロシーンフローアルゴリズムを超越している。
さらに、実世界のゼロポイント一般化評価において、常にほとんどの教師付きメソッドを超えることができる。
関連論文リスト
- Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors [52.195637608631955]
非視線画像(NLOS)は、その潜在的な応用により注目されている。
既存のNLOS再構成アプローチは、経験的物理的前提に依存して制約される。
本稿では,Learningable Path Compensation(LPC)とAdaptive Phasor Field(APF)の2つの主要な設計を含む,学習に基づく新しいソリューションを提案する。
論文 参考訳(メタデータ) (2024-09-21T04:39:45Z) - RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface
Normal Estimation and Manipulation [50.10282876199739]
本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。
RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。
現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
論文 参考訳(メタデータ) (2023-11-21T07:19:47Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳(メタデータ) (2023-08-31T04:58:17Z) - Optical Flow for Autonomous Driving: Applications, Challenges and
Improvements [0.9023847175654602]
学習に基づく光フローアルゴリズムを改善するためのトレーニング戦略を提案し,評価する。
合成データを訓練しながら、このモデルは現実世界の魚眼データに一般化する強力な能力を示す。
低光域における既存手法の性能を大幅に向上させる,新しい汎用的な半教師付きフレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-11T12:01:42Z) - GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and
Specular Objects Using Generalizable NeRF [7.47805672405939]
本稿では,マルチビューRGBベースの6-DoFグリップ検出ネットワークGraspNeRFを提案する。
既存のNeRFベースの3-DoFグリップ検出手法と比較して,RGB入力の少ないゼロショットNeRF構成を実現し,リアルタイムに6-DoFグリップを確実に検出できる。
学習データには, 散らばったテーブルトップシーンで把握する大規模フォトリアリスティックなドメインランダム化合成データセットを生成する。
論文 参考訳(メタデータ) (2022-10-12T20:31:23Z) - LWGNet: Learned Wirtinger Gradients for Fourier Ptychographic Phase
Retrieval [14.588976801396576]
本稿では,フォワードイメージングシステムの知識と深層データ駆動ネットワークを組み合わせたハイブリッドモデル駆動残差ネットワークを提案する。
従来のアンローリング技術とは異なり、LWGNetは従来のディープ・ラーニング・テクニックよりも少ない段数しか使用していない。
この低ビット深度・低コストセンサの性能向上は、FPM撮像装置のコストを大幅に下げる可能性がある。
論文 参考訳(メタデータ) (2022-08-08T17:22:54Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳(メタデータ) (2021-08-24T07:39:08Z) - Universal and Flexible Optical Aberration Correction Using Deep-Prior
Based Deconvolution [51.274657266928315]
そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。
具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
論文 参考訳(メタデータ) (2021-04-07T12:00:38Z) - FD-GAN: Generative Adversarial Networks with Fusion-discriminator for
Single Image Dehazing [48.65974971543703]
画像デハージングのためのFusion-Discriminator (FD-GAN) を用いた完全エンドツーエンドのジェネレータネットワークを提案する。
我々のモデルは、より自然でリアルなデハズド画像を生成することができ、色歪みは少なく、アーティファクトも少ない。
実験により, 提案手法は, 公開合成データセットと実世界の画像の両方において, 最先端の性能に達することが示された。
論文 参考訳(メタデータ) (2020-01-20T04:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。