論文の概要: Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose
from 2D Images
- arxiv url: http://arxiv.org/abs/2211.07491v1
- Date: Mon, 14 Nov 2022 16:18:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:52:53.831383
- Title: Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose
from 2D Images
- Title（参考訳）: 2次元画像からの3次元形状とポーズの半教師あり学習のための分割平面船体
- Authors: Yigit Baran Can, Alexander Liniger, Danda Pani Paudel, Luc Van Gool
- Abstract要約: 本研究では,1つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。
形状とポーズは、カテゴリによって収集された画像と、その部分的な2Dキーポイントアノテーションから直接学習される。
- 参考スコア（独自算出の注目度）: 133.68032636906133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of estimating 3D shape and pose of an object in terms of
keypoints, from a single 2D image.
The shape and pose are learned directly from images collected by categories
and their partial 2D keypoint annotations.. In this work, we first propose an
end-to-end training framework for intermediate 2D keypoints extraction and
final 3D shape and pose estimation. The proposed framework is then trained
using only the weak supervision of the intermediate 2D keypoints. Additionally,
we devise a semi-supervised training framework that benefits from both labeled
and unlabeled data. To leverage the unlabeled data, we introduce and exploit
the \emph{piece-wise planar hull} prior of the canonical object shape. These
planar hulls are defined manually once per object category, with the help of
the keypoints. On the one hand, the proposed method learns to segment these
planar hulls from the labeled data. On the other hand, it simultaneously
enforces the consistency between predicted keypoints and the segmented hulls on
the unlabeled data. The enforced consistency allows us to efficiently use the
unlabeled data for the task at hand. The proposed method achieves comparable
results with fully supervised state-of-the-art methods by using only half of
the annotations. Our source code will be made publicly available.
- Abstract（参考訳）: 一つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。
形状とポーズはカテゴリと部分的な2dキーポイントアノテーションによって収集された画像から直接学習される。
.
本研究ではまず,中間2次元キーポイント抽出と最終3次元形状とポーズ推定のためのエンドツーエンドトレーニングフレームワークを提案する。
提案したフレームワークは、中間2次元キーポイントの弱い監督のみを用いて訓練される。
さらに、ラベル付きデータとラベルなしデータの両方から恩恵を受ける、半教師付きトレーニングフレームワークも開発しています。
ラベルのないデータを活用するために,標準物体の形状に先立って,emph{piece-wise Planar hull}を導入し,活用する。
これらの平面船体は、キーポイントの助けを借りて、オブジェクトカテゴリごとに手動で定義される。
一方, 提案手法は, ラベル付きデータからこれらの平面殻を分割する方法を学習する。
一方、予測キーポイントとラベルなしデータ上のセグメンテーションされた船体との整合性を同時に実施する。
強制された一貫性により、手元のタスクにラベルのないデータを効率的に使用できます。
提案手法は,アノテーションの半数しか使用せずに,最先端の完全教師あり手法と同等の結果が得られる。
私たちのソースコードは公開されます。
関連論文リスト
- When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with
Weak-and-Noisy Supervision [20.625754683390536]
本稿では,CIP-WPIS法を提案する。
2次元基礎モデルSAMと3次元幾何に埋め込まれた事前学習知識を活用し、正確なポイントワイズ・インスタンス・ラベルを実現する。
提案手法は,ノイズの多い3次元境界ボックスアノテーションに対して頑健であり,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-09-02T05:17:03Z) - You Only Need One Thing One Click: Self-Training for Weakly Supervised
3D Scene Understanding [107.06117227661204]
私たちはOne Thing One Click''を提案する。つまり、アノテーションはオブジェクトごとに1つのポイントをラベル付けするだけです。
グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。
我々のモデルは、ポイントクラスタリング戦略を備えた3Dインスタンスセグメンテーションと互換性がある。
論文 参考訳（メタデータ） (2023-03-26T13:57:00Z) - Optimal and Robust Category-level Perception: Object Pose and Shape
Estimation from 2D and 3D Semantic Keypoints [30.19476775410544]
与えられたカテゴリ(例えば車)のオブジェクトを撮影する2Dまたは3Dセンサデータを取得し、オブジェクトの3Dポーズと形状を再構築する必要がある問題を考える。
最初の貢献は PACE3D* と PACE2D* を開発することである。
2つ目のコントリビューションは、PACE3D#とPACE2D#という名前の、両方のソルバの開発バージョンです。
論文 参考訳（メタデータ） (2022-06-24T21:58:00Z) - OSOP: A Multi-Stage One Shot Object Pose Estimation Framework [35.89334617258322]
対象物検出のための新しいワンショット手法と,対象物に対する訓練を必要としない6DoFポーズ推定を提案する。
テスト時には、ターゲット画像とテクスチャ化された3Dクエリモデルを入力する。
The method on LineMOD, Occlusion, Homebrewed, YCB-V and TLESS datasets。
論文 参考訳（メタデータ） (2022-03-29T13:12:00Z) - Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation [73.40404343241782]
2次元キーポイント検出に基づく弱教師付き6次元オブジェクトポーズ推定手法を提案する。
提案手法は,最先端の完全教師付きアプローチと同等の性能を実現する。
論文 参考訳（メタデータ） (2022-03-07T16:23:47Z) - ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes [55.689763519293464]
ConDorは、完全および部分的な3次元点雲の3次元配向と位置を正準化することを学ぶ自己教師型手法である。
推測中,本手法は任意のポーズで完全あるいは部分的な3次元点の雲を抽出し,同変正則のポーズを出力する。
論文 参考訳（メタデータ） (2022-01-19T18:57:21Z) - End-to-End Learning of Multi-category 3D Pose and Shape Estimation [128.881857704338]
本稿では,画像から2次元キーポイントを同時に検出し,それらを3次元に引き上げるエンド・ツー・エンド手法を提案する。
提案手法は2次元キーポイントアノテーションからのみ2次元検出と3次元リフトを学習する。
画像から3D学習へのエンドツーエンド化に加えて,1つのニューラルネットワークを用いて複数のカテゴリからのオブジェクトも処理する。
論文 参考訳（メタデータ） (2021-12-19T17:10:40Z) - 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。
手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
論文 参考訳（メタデータ） (2020-12-01T03:34:15Z) - KAPLAN: A 3D Point Descriptor for Shape Completion [80.15764700137383]
KAPLANは、一連の2D畳み込みを通じて局所的な形状情報を集約する3Dポイント記述子である。
各平面において、正規点や平面間距離のような点特性は2次元グリッドに集約され、効率的な2次元畳み込みエンコーダを持つ特徴表現に抽象化される。
公開データセットの実験では、KAPLANが3D形状の完成のために最先端のパフォーマンスを達成することが示されている。
論文 参考訳（メタデータ） (2020-07-31T21:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。