論文の概要: GANESH: Generalizable NeRF for Lensless Imaging

• arxiv url: http://arxiv.org/abs/2411.04810v1
• Date: Thu, 07 Nov 2024 15:47:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:36.669211
• Title: GANESH: Generalizable NeRF for Lensless Imaging
• Title（参考訳）: GANESH:レンズレスイメージングのための一般化可能なNeRF
• Authors: Rakesh Raj Madavan, Akshat Kaimal, Badhrinarayanan K V, Vinayak Gupta, Rohit Choudhary, Chandrakala Shanmuganathan, Kaushik Mitra,
• Abstract要約: GANESHは,レンズレス画像からの高精細化と新鮮視合成を実現するための新しいフレームワークである。 シーン固有のトレーニングを必要とする既存の方法とは異なり、本手法は各シーンで再トレーニングすることなく、オンザフライ推論をサポートする。 この領域の研究を容易にするために、最初のマルチビューレンズレスデータセットであるLenslessScenesも提示する。
• 参考スコア（独自算出の注目度）: 12.985055542373791
• License:
• Abstract: Lensless imaging offers a significant opportunity to develop ultra-compact cameras by removing the conventional bulky lens system. However, without a focusing element, the sensor's output is no longer a direct image but a complex multiplexed scene representation. Traditional methods have attempted to address this challenge by employing learnable inversions and refinement models, but these methods are primarily designed for 2D reconstruction and do not generalize well to 3D reconstruction. We introduce GANESH, a novel framework designed to enable simultaneous refinement and novel view synthesis from multi-view lensless images. Unlike existing methods that require scene-specific training, our approach supports on-the-fly inference without retraining on each scene. Moreover, our framework allows us to tune our model to specific scenes, enhancing the rendering and refinement quality. To facilitate research in this area, we also present the first multi-view lensless dataset, LenslessScenes. Extensive experiments demonstrate that our method outperforms current approaches in reconstruction accuracy and refinement quality. Code and video results are available at https://rakesh-123-cryp.github.io/Rakesh.github.io/
• Abstract（参考訳）: レンズレスイメージングは、従来のかさばるレンズシステムを取り除き、超コンパクトなカメラを開発する重要な機会を提供する。 しかし、焦点要素がなければ、センサの出力はもはや直接画像ではなく、複雑な多重シーン表現である。 従来の手法では、学習可能な反転モデルと改良モデルを用いてこの問題に対処してきたが、これらの手法は主に2次元再構成用に設計されており、3次元再構成には適さない。 GANESHは,多視点レンズレス画像から同時精細化と新しいビュー合成を実現するための新しいフレームワークである。 シーン固有のトレーニングを必要とする既存の方法とは異なり、本手法は各シーンで再トレーニングすることなく、オンザフライ推論をサポートする。 さらに、我々のフレームワークは、モデルを特定のシーンに調整し、レンダリングと精細化の質を高めます。 この領域の研究を容易にするために、最初のマルチビューレンズレスデータセットであるLenslessScenesも提示する。 大規模な実験により,本手法は再構築精度と精細化品質において,現在の手法よりも優れていることが示された。 コードとビデオの結果はhttps://rakesh-123-cryp.github.io/Rakesh.github.io/で公開されている。

関連論文リスト

• PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging [19.506766336040247]
  レンズレスカメラは、従来のレンズベースのシステムと比較して、サイズ、重量、コストにおいて大きな利点がある。 現在のアルゴリズムは、不正確な前方画像モデルと、高品質な画像の再構成に不十分な事前処理に苦慮している。 我々は、一貫したフォトリアリスティックなレンズレス画像再構成のための新しい2段階のアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-26T16:07:24Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
  本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。 提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。 本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:58Z)
• Reconstructing Continuous Light Field From Single Coded Image [7.937367109582907]
  本研究では,対象シーンの連続光場を単一観測画像から再構成する手法を提案する。 カメラに実装された共同開口露光符号化により、3次元シーン情報の観察画像への効果的な埋め込みが可能となる。 NeRFベースのニューラルレンダリングは、連続的な視点から3Dシーンの高品質なビュー合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-16T07:59:01Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• Neural Lens Modeling [50.57409162437732]
  NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。 古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。 このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
  論文  参考訳（メタデータ） (2023-04-10T20:09:17Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Unrolled Primal-Dual Networks for Lensless Cameras [0.45880283710344055]
  教師付き原始二重再構成法を学習することで,文献における画像品質の整合性が得られることを示す。 この改善は、学習可能な前方モデルと随伴モデルとを学習された原始双対最適化フレームワークに組み込むことで、再構成画像の品質を向上できるという発見に起因している。
  論文  参考訳（メタデータ） (2022-03-08T19:21:39Z)
• Towards Non-Line-of-Sight Photography [48.491977359971855]
  非視線イメージング(NLOS)は、隠された物体からの多重バウンス間接反射を捉えることに基づいている。 アクティブなNLOSイメージングシステムは、シーンを通しての光の飛行時間の捕捉に依存している。 我々はNLOS写真と呼ばれる新しい問題定式化を提案し、この欠陥に特に対処する。
  論文  参考訳（メタデータ） (2021-09-16T08:07:13Z)
• FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements [31.353395064815892]
  レンズレス再構成における画像品質の大幅な向上を図った非定位深層学習に基づく再構成手法を提案する。 われわれのアプローチは、$textitFlatNet$と呼ばれ、マスクベースのレンズレスカメラから高品質のフォトリアリスティック画像を再構成するためのフレームワークを定めている。
  論文  参考訳（メタデータ） (2020-10-29T09:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。