論文の概要: SSR: Semi-supervised Soft Rasterizer for single-view 2D to 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2108.09593v1
• Date: Sat, 21 Aug 2021 23:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:47:05.190842
• Title: SSR: Semi-supervised Soft Rasterizer for single-view 2D to 3D Reconstruction
• Title（参考訳）: SSR: シングルビュー2次元から3次元再構成のための半教師付きソフトラスタライザ
• Authors: Issam Laradji, Pau Rodr\'iguez, David Vazquez, Derek Nowrouzezahrai
• Abstract要約: ソフトアスタライズ法は2次元画像からの正確な3次元再構成を実現した。 このような3次元再構成手法でラベルなし画像を活用することにより、ラベル付けの労力をさらに削減する。 実験の結果,2つのオブジェクトのみをラベル付けしても,ラベル付けされていない例を利用する場合,ShapeNetは大幅に改善されることがわかった。
• 参考スコア（独自算出の注目度）: 14.89252161483621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has made significant progress in learning object meshes with weak supervision. Soft Rasterization methods have achieved accurate 3D reconstruction from 2D images with viewpoint supervision only. In this work, we further reduce the labeling effort by allowing such 3D reconstruction methods leverage unlabeled images. In order to obtain the viewpoints for these unlabeled images, we propose to use a Siamese network that takes two images as input and outputs whether they correspond to the same viewpoint. During training, we minimize the cross entropy loss to maximize the probability of predicting whether a pair of images belong to the same viewpoint or not. To get the viewpoint of a new image, we compare it against different viewpoints obtained from the training samples and select the viewpoint with the highest matching probability. We finally label the unlabeled images with the most confident predicted viewpoint and train a deep network that has a differentiable rasterization layer. Our experiments show that even labeling only two objects yields significant improvement in IoU for ShapeNet when leveraging unlabeled examples. Code is available at https://github.com/IssamLaradji/SSR.
• Abstract（参考訳）: 最近の研究は、弱い監督下でのオブジェクトメッシュの学習に大きな進歩をもたらした。 ソフトラスタライズ法は2次元画像からの正確な3次元再構成を実現した。 本研究では,このような3次元復元手法がラベルなし画像を活用することで,ラベリング作業をさらに削減する。 これらのラベルのない画像の視点を得るために、2つの画像を入力として取り、同一の視点に対応するか否かを出力するSiameseネットワークを提案する。 トレーニング中、クロスエントロピー損失を最小限に抑え、一対のイメージが同じ視点に属するか否かを予測する確率を最大化する。 新しい画像の視点を得るために、トレーニングサンプルから得られた異なる視点と比較し、最も高い一致確率で視点を選択する。 ラベル付けされていない画像に最も自信のある視点でラベル付けし、異なるラスタライズ層を持つディープネットワークを訓練する。 実験の結果、2つのオブジェクトのみをラベル付けしても、未ラベルの例を利用する場合、ShapeNetのIoUは大幅に改善されることがわかった。 コードはhttps://github.com/IssamLaradji/SSRで入手できる。

関連論文リスト

• HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
  本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。 提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-03-18T14:18:08Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• Learning 3D Semantics from Pose-Noisy 2D Images with Hierarchical Full Attention Network [17.58032517457836]
  ポーズエラーを含む2次元多視点画像観測から3次元ポイントクラウドの意味を学習するための新しいフレームワークを提案する。 階層型フルアテンションネットワーク(HiFANet)は、パッチ、バッグ・オブ・フレーム、ポイント間セマンティックキューを逐次集約するように設計されている。 実験の結果,提案フレームワークは既存の3Dポイント・クラウド・ベースの手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-17T20:24:26Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)
• From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks [53.71440550507745]
  2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。 本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。 我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
  論文  参考訳（メタデータ） (2020-05-05T04:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。