論文の概要: ADFactory: An Effective Framework for Generalizing Optical Flow with Nerf

• arxiv url: http://arxiv.org/abs/2311.04246v2
• Date: Tue, 14 Nov 2023 08:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 19:09:06.955752
• Title: ADFactory: An Effective Framework for Generalizing Optical Flow with Nerf
• Title（参考訳）: ADFactory: Nerfで光フローを一般化するための効果的なフレームワーク
• Authors: Han Ling
• Abstract要約: 自動データファクトリ(ADF)による新しい光フロートレーニングフレームワークについて紹介する。 ADFは、ターゲットデータ領域上の光フローネットワークを効果的にトレーニングするために、入力としてRGBイメージのみを必要とする。 我々は、高度なNerf技術を用いて、単眼カメラで収集した写真群からシーンを再構築する。 生成したラベルを光フローマッチングの精度、放射界の信頼性、深さの整合性などの複数の側面からスクリーニングする。
• 参考スコア（独自算出の注目度）: 0.4532517021515834
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A significant challenge facing current optical flow methods is the difficulty in generalizing them well to the real world. This is mainly due to the high cost of hand-crafted datasets, and existing self-supervised methods are limited by indirect loss and occlusions, resulting in fuzzy outcomes. To address this challenge, we introduce a novel optical flow training framework: automatic data factory (ADF). ADF only requires RGB images as input to effectively train the optical flow network on the target data domain. Specifically, we use advanced Nerf technology to reconstruct scenes from photo groups collected by a monocular camera, and then calculate optical flow labels between camera pose pairs based on the rendering results. To eliminate erroneous labels caused by defects in the scene reconstructed by Nerf, we screened the generated labels from multiple aspects, such as optical flow matching accuracy, radiation field confidence, and depth consistency. The filtered labels can be directly used for network supervision. Experimentally, the generalization ability of ADF on KITTI surpasses existing self-supervised optical flow and monocular scene flow algorithms. In addition, ADF achieves impressive results in real-world zero-point generalization evaluations and surpasses most supervised methods.
• Abstract（参考訳）: 現在の光学フロー法に直面する重要な課題は、それらを現実世界にうまく一般化することの難しさである。 これは主に手作りデータセットのコストが高いためであり、既存の自己管理手法は間接的な損失と閉塞によって制限され、ファジィな結果をもたらす。 この課題に対処するために、我々は新しい光フロートレーニングフレームワーク、Automatic Data Factory (ADF)を導入する。 ADFは、ターゲットデータ領域上の光フローネットワークを効果的にトレーニングするために、入力としてRGBイメージのみを必要とする。 具体的には、単眼カメラで収集した写真群からシーンを再構成し、レンダリング結果に基づいてカメラポーズペア間の光フローラベルを算出するために、高度なnerf技術を用いる。 nerfで再構成されたシーンの欠陥に起因する誤ったラベルを除去するために, 生成したラベルを光学的フローマッチング精度, 放射場信頼度, 深さ整合性など, 様々な側面からスクリーニングした。 フィルタされたラベルは、直接ネットワークの監視に使用できる。 実験により、KITTI上のAFFの一般化能力は、既存の自己監督型光学フローとモノクロシーンフローアルゴリズムを超えている。 さらにadfは実世界のゼロポイント一般化評価において印象的な結果を達成し、ほとんどの教師付き手法を上回っている。

関連論文リスト

• Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors [52.195637608631955]
  非視線画像(NLOS)は、その潜在的な応用により注目されている。 既存のNLOS再構成アプローチは、経験的物理的前提に依存して制約される。 本稿では,Learningable Path Compensation(LPC)とAdaptive Phasor Field(APF)の2つの主要な設計を含む,学習に基づく新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-09-21T04:39:45Z)
• RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation [50.10282876199739]
  本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。 RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。 現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
  論文  参考訳（メタデータ） (2023-11-21T07:19:47Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• Optical Flow for Autonomous Driving: Applications, Challenges and Improvements [0.9023847175654602]
  学習に基づく光フローアルゴリズムを改善するためのトレーニング戦略を提案し,評価する。 合成データを訓練しながら、このモデルは現実世界の魚眼データに一般化する強力な能力を示す。 低光域における既存手法の性能を大幅に向上させる,新しい汎用的な半教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-11T12:01:42Z)
• GraspNeRF: Multiview-based 6-DoF Grasp Detection for Transparent and Specular Objects Using Generalizable NeRF [7.47805672405939]
  本稿では,マルチビューRGBベースの6-DoFグリップ検出ネットワークGraspNeRFを提案する。 既存のNeRFベースの3-DoFグリップ検出手法と比較して,RGB入力の少ないゼロショットNeRF構成を実現し,リアルタイムに6-DoFグリップを確実に検出できる。 学習データには, 散らばったテーブルトップシーンで把握する大規模フォトリアリスティックなドメインランダム化合成データセットを生成する。
  論文  参考訳（メタデータ） (2022-10-12T20:31:23Z)
• LWGNet: Learned Wirtinger Gradients for Fourier Ptychographic Phase Retrieval [14.588976801396576]
  本稿では,フォワードイメージングシステムの知識と深層データ駆動ネットワークを組み合わせたハイブリッドモデル駆動残差ネットワークを提案する。 従来のアンローリング技術とは異なり、LWGNetは従来のディープ・ラーニング・テクニックよりも少ない段数しか使用していない。 この低ビット深度・低コストセンサの性能向上は、FPM撮像装置のコストを大幅に下げる可能性がある。
  論文  参考訳（メタデータ） (2022-08-08T17:22:54Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution [51.274657266928315]
  そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。 具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
  論文  参考訳（メタデータ） (2021-04-07T12:00:38Z)
• FD-GAN: Generative Adversarial Networks with Fusion-discriminator for Single Image Dehazing [48.65974971543703]
  画像デハージングのためのFusion-Discriminator (FD-GAN) を用いた完全エンドツーエンドのジェネレータネットワークを提案する。 我々のモデルは、より自然でリアルなデハズド画像を生成することができ、色歪みは少なく、アーティファクトも少ない。 実験により, 提案手法は, 公開合成データセットと実世界の画像の両方において, 最先端の性能に達することが示された。
  論文  参考訳（メタデータ） (2020-01-20T04:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。