論文の概要: 3D shape reconstruction of semi-transparent worms

• arxiv url: http://arxiv.org/abs/2304.14841v1
• Date: Fri, 28 Apr 2023 13:29:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 13:59:58.987685
• Title: 3D shape reconstruction of semi-transparent worms
• Title（参考訳）: 半透明虫の3次元形状復元
• Authors: Thomas P. Ilett, Omer Yuval, Thomas Ranner, Netta Cohen, David C. Hogg
• Abstract要約: 3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。 ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。 本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
• 参考スコア（独自算出の注目度）: 0.950214811819847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D shape reconstruction typically requires identifying object features or textures in multiple images of a subject. This approach is not viable when the subject is semi-transparent and moving in and out of focus. Here we overcome these challenges by rendering a candidate shape with adaptive blurring and transparency for comparison with the images. We use the microscopic nematode Caenorhabditis elegans as a case study as it freely explores a 3D complex fluid with constantly changing optical properties. We model the slender worm as a 3D curve using an intrinsic parametrisation that naturally admits biologically-informed constraints and regularisation. To account for the changing optics we develop a novel differentiable renderer to construct images from 2D projections and compare against raw images to generate a pixel-wise error to jointly update the curve, camera and renderer parameters using gradient descent. The method is robust to interference such as bubbles and dirt trapped in the fluid, stays consistent through complex sequences of postures, recovers reliable estimates from blurry images and provides a significant improvement on previous attempts to track C. elegans in 3D. Our results demonstrate the potential of direct approaches to shape estimation in complex physical environments in the absence of ground-truth data.
• Abstract（参考訳）: 3次元形状再構成は通常、被写体の複数の画像から物体の特徴やテクスチャを識別する必要がある。 このアプローチは、主題が半透明で、焦点が合っていないときに実現できません。 ここでは,画像との比較において,適応的なぼやけと透明性をもって候補形状をレンダリングすることで,これらの課題を克服する。 電子顕微鏡による線虫Caenorhabditis elegansをケーススタディとして、光学特性が常に変化する3次元複合体流体を自由に探索する。 寄生虫を3次元の曲線としてモデル化し,生物学的に不定な制約と正規化を自然に認めている。 2次元プロジェクションから画像を合成し、原画像と比較して、曲線、カメラ、レンダラーパラメータを勾配勾配を用いて共同で更新する画素ワイズ誤差を生成する新しい微分可能なレンダラーを開発した。 この手法は流体中に閉じ込められた気泡や汚れなどの干渉に対して堅牢であり、複雑な姿勢の連続を通して安定であり、ぼやけた画像から信頼性の高い推定を回復し、C. elegansを3Dで追跡する以前の試みに顕著な改善をもたらす。 本研究は, 地盤データのない複雑な物理環境における形状推定への直接的アプローチの可能性を示す。

関連論文リスト

• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement [5.655207244072081]
  モノクロRGB画像からメッシュ形状の3Dポーズと形状を推定することは困難である。 そこで本研究では, 1) 閉塞・腐食3次元骨格推定による逆運動学の利点を生かした粗粒間パイプラインを提案する。 本研究では,3DPW, MuPoTS, AGORAデータセット上での最先端の手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-24T18:29:06Z)
• {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
  Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:59:57Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects [115.71874459429381]
  本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。 従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
  論文  参考訳（メタデータ） (2021-06-16T13:18:08Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。