論文の概要: Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose
from 2D Images
- arxiv url: http://arxiv.org/abs/2211.07491v1
- Date: Mon, 14 Nov 2022 16:18:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:52:53.831383
- Title: Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose
from 2D Images
- Title（参考訳）: 2次元画像からの3次元形状とポーズの半教師あり学習のための分割平面船体
- Authors: Yigit Baran Can, Alexander Liniger, Danda Pani Paudel, Luc Van Gool
- Abstract要約: 本研究では,1つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。
形状とポーズは、カテゴリによって収集された画像と、その部分的な2Dキーポイントアノテーションから直接学習される。
- 参考スコア（独自算出の注目度）: 133.68032636906133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of estimating 3D shape and pose of an object in terms of
keypoints, from a single 2D image.
The shape and pose are learned directly from images collected by categories
and their partial 2D keypoint annotations.. In this work, we first propose an
end-to-end training framework for intermediate 2D keypoints extraction and
final 3D shape and pose estimation. The proposed framework is then trained
using only the weak supervision of the intermediate 2D keypoints. Additionally,
we devise a semi-supervised training framework that benefits from both labeled
and unlabeled data. To leverage the unlabeled data, we introduce and exploit
the \emph{piece-wise planar hull} prior of the canonical object shape. These
planar hulls are defined manually once per object category, with the help of
the keypoints. On the one hand, the proposed method learns to segment these
planar hulls from the labeled data. On the other hand, it simultaneously
enforces the consistency between predicted keypoints and the segmented hulls on
the unlabeled data. The enforced consistency allows us to efficiently use the
unlabeled data for the task at hand. The proposed method achieves comparable
results with fully supervised state-of-the-art methods by using only half of
the annotations. Our source code will be made publicly available.
- Abstract（参考訳）: 一つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。
形状とポーズはカテゴリと部分的な2dキーポイントアノテーションによって収集された画像から直接学習される。
.
本研究ではまず,中間2次元キーポイント抽出と最終3次元形状とポーズ推定のためのエンドツーエンドトレーニングフレームワークを提案する。
提案したフレームワークは、中間2次元キーポイントの弱い監督のみを用いて訓練される。
さらに、ラベル付きデータとラベルなしデータの両方から恩恵を受ける、半教師付きトレーニングフレームワークも開発しています。
ラベルのないデータを活用するために,標準物体の形状に先立って,emph{piece-wise Planar hull}を導入し,活用する。
これらの平面船体は、キーポイントの助けを借りて、オブジェクトカテゴリごとに手動で定義される。
一方, 提案手法は, ラベル付きデータからこれらの平面殻を分割する方法を学習する。
一方、予測キーポイントとラベルなしデータ上のセグメンテーションされた船体との整合性を同時に実施する。
強制された一貫性により、手元のタスクにラベルのないデータを効率的に使用できます。
提案手法は,アノテーションの半数しか使用せずに,最先端の完全教師あり手法と同等の結果が得られる。
私たちのソースコードは公開されます。
関連論文リスト
- PointCG: Self-supervised Point Cloud Learning via Joint Completion and Generation [32.04698431036215]
本稿では,マスク付きポイントモデリング(MPM)と3D-to-2D生成という2つの一般的な手法を,事前学習フレームワーク内にプリテキストタスクとして統合する。
我々はこれらの2つの手法によって提供される空間的認識と精密な監督を活用して、それぞれの限界に対処する。
論文 参考訳（メタデータ） (2024-11-09T02:38:29Z) - Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
3Dセグメンテーションはコンピュータビジョンの中核的な問題である。
完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。
半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
論文 参考訳（メタデータ） (2024-09-12T14:54:31Z) - OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding [54.981605111365056]
本稿では,3次元点レベルの開語彙理解が可能な3次元ガウススティング(3DGS)に基づくOpenGaussianを紹介する。
我々の主な動機は、既存の3DGSベースのオープン語彙法が主に2Dピクセルレベルの解析に焦点を当てていることに起因している。
論文 参考訳（メタデータ） (2024-06-04T07:42:33Z) - When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with
Weak-and-Noisy Supervision [20.625754683390536]
本稿では,CIP-WPIS法を提案する。
2次元基礎モデルSAMと3次元幾何に埋め込まれた事前学習知識を活用し、正確なポイントワイズ・インスタンス・ラベルを実現する。
提案手法は,ノイズの多い3次元境界ボックスアノテーションに対して頑健であり,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-09-02T05:17:03Z) - You Only Need One Thing One Click: Self-Training for Weakly Supervised
3D Scene Understanding [107.06117227661204]
私たちはOne Thing One Click''を提案する。つまり、アノテーションはオブジェクトごとに1つのポイントをラベル付けするだけです。
グラフ伝搬モジュールによって促進されるトレーニングとラベル伝搬を反復的に行う。
我々のモデルは、ポイントクラスタリング戦略を備えた3Dインスタンスセグメンテーションと互換性がある。
論文 参考訳（メタデータ） (2023-03-26T13:57:00Z) - OSOP: A Multi-Stage One Shot Object Pose Estimation Framework [35.89334617258322]
対象物検出のための新しいワンショット手法と,対象物に対する訓練を必要としない6DoFポーズ推定を提案する。
テスト時には、ターゲット画像とテクスチャ化された3Dクエリモデルを入力する。
The method on LineMOD, Occlusion, Homebrewed, YCB-V and TLESS datasets。
論文 参考訳（メタデータ） (2022-03-29T13:12:00Z) - Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation [73.40404343241782]
2次元キーポイント検出に基づく弱教師付き6次元オブジェクトポーズ推定手法を提案する。
提案手法は,最先端の完全教師付きアプローチと同等の性能を実現する。
論文 参考訳（メタデータ） (2022-03-07T16:23:47Z) - End-to-End Learning of Multi-category 3D Pose and Shape Estimation [128.881857704338]
本稿では,画像から2次元キーポイントを同時に検出し,それらを3次元に引き上げるエンド・ツー・エンド手法を提案する。
提案手法は2次元キーポイントアノテーションからのみ2次元検出と3次元リフトを学習する。
画像から3D学習へのエンドツーエンド化に加えて,1つのニューラルネットワークを用いて複数のカテゴリからのオブジェクトも処理する。
論文 参考訳（メタデータ） (2021-12-19T17:10:40Z) - 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。
手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
論文 参考訳（メタデータ） (2020-12-01T03:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。