論文の概要: Few-shot Geometry-Aware Keypoint Localization

• arxiv url: http://arxiv.org/abs/2303.17216v1
• Date: Thu, 30 Mar 2023 08:19:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 14:08:29.020020
• Title: Few-shot Geometry-Aware Keypoint Localization
• Title（参考訳）: 幾何幾何-キーポイント位置認識
• Authors: Xingzhe He, Gaurav Bharaj, David Ferman, Helge Rhodin, Pablo Garrido
• Abstract要約: 意味的に一貫したキーポイント定義をローカライズすることを学ぶ新しい定式化を提案する。 ユーザラベル付き2D画像を入力例として使用し、セルフスーパービジョンで拡張する。 鍵点を昇華するために3次元幾何学的制約を導入し、より正確な2次元ローカライゼーションを実現する。
• 参考スコア（独自算出の注目度）: 13.51645400661565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised keypoint localization methods rely on large manually labeled image datasets, where objects can deform, articulate, or occlude. However, creating such large keypoint labels is time-consuming and costly, and is often error-prone due to inconsistent labeling. Thus, we desire an approach that can learn keypoint localization with fewer yet consistently annotated images. To this end, we present a novel formulation that learns to localize semantically consistent keypoint definitions, even for occluded regions, for varying object categories. We use a few user-labeled 2D images as input examples, which are extended via self-supervision using a larger unlabeled dataset. Unlike unsupervised methods, the few-shot images act as semantic shape constraints for object localization. Furthermore, we introduce 3D geometry-aware constraints to uplift keypoints, achieving more accurate 2D localization. Our general-purpose formulation paves the way for semantically conditioned generative modeling and attains competitive or state-of-the-art accuracy on several datasets, including human faces, eyes, animals, cars, and never-before-seen mouth interior (teeth) localization tasks, not attempted by the previous few-shot methods. Project page: https://xingzhehe.github.io/FewShot3DKP/}{https://xingzhehe.github.io/FewShot3DKP/
• Abstract（参考訳）: 教師付きキーポイントローカライズ手法は、大きな手作業でラベル付けされた画像データセットに依存している。 しかし、そのような大きなキーポイントラベルの作成には時間とコストがかかり、一貫性のないラベリングのためにしばしばエラーが発生する。 そこで我々はキーポイントのローカライゼーションを,より少ないが一貫した注釈付き画像で学習できるアプローチを望んでいる。 そこで本論文では,オブジェクトカテゴリの異なる領域においても,意味的に一貫性のあるキーポイント定義を局所化することを学ぶ新しい定式化を提案する。 ユーザラベル付き2D画像を入力例として使用し、より大きなラベル付きデータセットを使用して自己スーパービジョンで拡張する。 教師なしの手法とは異なり、少数ショット画像はオブジェクトローカライゼーションのセマンティックな形状制約として機能する。 さらに,鍵点の引き上げに3次元幾何学的制約を導入し,より正確な2次元局所化を実現する。 我々の汎用的な定式化は、セマンティック・コンディショニング・ジェネレーティブ・モデリングの手法を舗装し、人間の顔、目、動物、車、そして前例のない口内(歯)のローカライゼーションタスクを含むいくつかのデータセットにおける、競争的または最先端の精度を達成する。 プロジェクトページ: https://xingzhe.github.io/fewshot3dkp/}{https://xingzhe.github.io/fewshot3dkp/

関連論文リスト

• SelfGeo: Self-supervised and Geodesic-consistent Estimation of Keypoints on Deformable Shapes [19.730602733938216]
  自己教師型手法であるSelfGeoは、人間のアノテーションを必要とせず、任意のPCDから非剛体物体の3次元キーポイントを計算する。 我々の主な貢献は、そのキーポイントをその形状に沿って変形させ、その間の測地線距離を一定に保つことである。 本研究では,測地学の利用が動的シーンに挑戦する上で明らかな優位性があることを実験的に示す。
  論文  参考訳（メタデータ） (2024-08-05T08:00:30Z)
• Learning to Produce Semi-dense Correspondences for Visual Localization [11.415451542216559]
  本研究は,夜間シナリオ,悪天候,季節変化などの要求条件下で視覚的局所化を行うことの課題に対処する。 本稿では,高密度なキーポイントマッチングに基づいて,信頼性の高い半高密度2D-3Dマッチングポイントを抽出する手法を提案する。 ネットワークは幾何学的および視覚的な手がかりを用いて、観測されたキーポイントから観測されていないキーポイントの3D座標を効果的に推測する。
  論文  参考訳（メタデータ） (2024-02-13T10:40:10Z)
• Neural Semantic Surface Maps [52.61017226479506]
  本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。 提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
  論文  参考訳（メタデータ） (2023-09-09T16:21:56Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images [133.68032636906133]
  本研究では,1つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。 形状とポーズは、カテゴリによって収集された画像と、その部分的な2Dキーポイントアノテーションから直接学習される。
  論文  参考訳（メタデータ） (2022-11-14T16:18:11Z)
• AutoLink: Self-supervised Learning of Human Skeletons and Object Outlines by Linking Keypoints [16.5436159805682]
  本研究では,オブジェクト構造を外見から切り離すことを学習する自己教師型手法を提案する。 キーポイントの位置と両辺の重みはどちらも学習され、同じオブジェクトクラスを描いている画像の集合のみを考慮に入れられる。 結果のグラフは解釈可能で、例えばAutoLinkは、人を示す画像に適用すると、人間の骨格のトポロジーを復元する。
  論文  参考訳（メタデータ） (2022-05-21T16:32:34Z)
• P2P-Loc: Point to Point Tiny Person Localization [47.6728595874315]
  本稿では,人物位置決め作業のための新しいポイントベースフレームワークを提案する。 粗い点(粗い点)として各人に注釈を付けることは、正確なバウンディングボックスではなく、オブジェクトの範囲内の任意の点である。 提案手法は,アノテーションを最大80$%のコストで保存しながら,オブジェクトのローカライゼーション性能に匹敵する。
  論文  参考訳（メタデータ） (2021-12-31T08:24:43Z)
• Back to the Feature: Learning Robust Camera Localization from Pixels to Pose [114.89389528198738]
  画像と3Dモデルから正確な6-DoFのポーズを推定するシーンに依存しないニューラルネットワークPixLocを導入する。 このシステムは、粗いポーズ前の大きな環境でもローカライズできるが、スパース特徴マッチングの精度も向上する。
  論文  参考訳（メタデータ） (2021-03-16T17:40:12Z)
• Inter-Image Communication for Weakly Supervised Localization [77.2171924626778]
  弱教師付きローカライゼーションは、画像レベルの監督のみを使用して対象対象領域を見つけることを目的としている。 我々は,より正確な物体位置を学習するために,異なる物体間の画素レベルの類似性を活用することを提案する。 ILSVRC検証セット上でトップ1のローカライズ誤差率45.17%を達成する。
  論文  参考訳（メタデータ） (2020-08-12T04:14:11Z)
• KeypointNet: A Large-scale 3D Keypoint Dataset Aggregated from Numerous Human Annotations [56.34297279246823]
  KeypointNetは、最初の大規模かつ多様な3Dキーポイントデータセットである。 16のカテゴリから103,450個のキーポイントと8,234個の3Dモデルを含んでいる。 提案したデータセットに10種類の最先端手法をベンチマークする。
  論文  参考訳（メタデータ） (2020-02-28T12:58:56Z)
• Rethinking the Route Towards Weakly Supervised Object Localization [28.90792512056726]
  弱教師付きオブジェクトローカライゼーションは、クラスに依存しないオブジェクトローカライゼーションとオブジェクト分類の2つの部分に分けられるべきである。 クラス非依存のオブジェクトローカライゼーションでは、クラス非依存のメソッドを使用してノイズの多い擬似アノテーションを生成し、クラスラベルなしで境界ボックスのレグレッションを実行する必要がある。 我々のPSOLモデルは、微調整なしで異なるデータセット間で良好な転送性を持つ。
  論文  参考訳（メタデータ） (2020-02-26T08:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。