論文の概要: Neural Interactive Keypoint Detection

• arxiv url: http://arxiv.org/abs/2308.10174v1
• Date: Sun, 20 Aug 2023 06:36:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 17:07:47.544384
• Title: Neural Interactive Keypoint Detection
• Title（参考訳）: ニューラルインタラクティブキーポイント検出
• Authors: Jie Yang, Ailing Zeng, Feng Li, Shilong Liu, Ruimao Zhang, Lei Zhang
• Abstract要約: Click-Poseはエンドツーエンドの対話型キーポイント検出フレームワークである。 2Dキーポイントアノテーションのラベル付けコストを10倍以上削減することができる。
• 参考スコア（独自算出の注目度）: 34.79658681345932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work proposes an end-to-end neural interactive keypoint detection framework named Click-Pose, which can significantly reduce more than 10 times labeling costs of 2D keypoint annotation compared with manual-only annotation. Click-Pose explores how user feedback can cooperate with a neural keypoint detector to correct the predicted keypoints in an interactive way for a faster and more effective annotation process. Specifically, we design the pose error modeling strategy that inputs the ground truth pose combined with four typical pose errors into the decoder and trains the model to reconstruct the correct poses, which enhances the self-correction ability of the model. Then, we attach an interactive human-feedback loop that allows receiving users' clicks to correct one or several predicted keypoints and iteratively utilizes the decoder to update all other keypoints with a minimum number of clicks (NoC) for efficient annotation. We validate Click-Pose in in-domain, out-of-domain scenes, and a new task of keypoint adaptation. For annotation, Click-Pose only needs 1.97 and 6.45 NoC@95 (at precision 95%) on COCO and Human-Art, reducing 31.4% and 36.3% efforts than the SOTA model (ViTPose) with manual correction, respectively. Besides, without user clicks, Click-Pose surpasses the previous end-to-end model by 1.4 AP on COCO and 3.0 AP on Human-Art. The code is available at https://github.com/IDEA-Research/Click-Pose.
• Abstract（参考訳）: この研究は、Click-Poseと呼ばれるエンドツーエンドの対話型キーポイント検出フレームワークを提案し、手動のみのアノテーションと比較して、2Dキーポイントアノテーションのラベル付けコストを10倍以上削減できる。 Click-Pose氏は、より高速で効果的なアノテーションプロセスのために、ユーザのフィードバックがニューラルキーポイント検出器と協調して、予測キーポイントをインタラクティブな方法で修正する方法について検討している。 具体的には、デコーダに4つの典型的なポーズ誤りを組み合わし、モデルに正しいポーズを再構築するよう訓練し、モデルの自己補正能力を向上するポーズ誤りモデリング戦略を設計する。 次に,ユーザのクリックを受信して1つまたは複数のキーポイントを訂正し,反復的に他のすべてのキーポイントを最小クリック数(noc)で更新して効率的なアノテーションを行う対話型ヒューマンフィードバックループを付加する。 我々はClick-Poseをドメイン内、ドメイン外、キーポイント適応の新しいタスクで検証する。 Click-Pose は COCO と Human-Art で 1.97 と 6.45 NoC@95 (精度95%) しか必要とせず、手動修正による SOTA モデル (ViTPose) よりも 31.4% と 36.3% の労力を削減している。 さらに、ユーザクリックなしで、Click-Poseは以前のエンドツーエンドモデルを、COCOで1.4 AP、Human-Artで3.0 APで上回っている。 コードはhttps://github.com/IDEA-Research/Click-Poseで公開されている。

関連論文リスト

• Bones Can't Be Triangles: Accurate and Efficient Vertebrae Keypoint Estimation through Collaborative Error Revision [39.347666307218006]
  KeyBotは、既存のモデルの重要な、および典型的なエラーを特定し、修正するように設計されている。 典型的なエラータイプを特徴付け、トレーニングにシミュレートされたエラーを使用することで、KeyBotはこれらのエラーを効果的に修正し、ユーザのワークロードを大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T06:03:52Z)
• X-Pose: Detecting Any Keypoints [28.274913140048003]
  X-Poseは画像内の複数オブジェクトのキーポイント検出のための新しいフレームワークである。 UniKPTはキーポイント検出データセットの大規模なデータセットである。 X-Poseは、最先端の非プロンプタブル、視覚的プロンプトベース、テキスト的プロンプトベースメソッドに対する顕著な改善を実現している。
  論文  参考訳（メタデータ） (2023-10-12T17:22:58Z)
• PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching [51.142988196855484]
  本稿では,PoseMatcherを提案する。 3ビューシステムに基づくオブジェクトと画像のマッチングのための新しいトレーニングパイプラインを作成します。 PoseMatcherは、画像とポイントクラウドの異なる入力モダリティに対応できるように、IO-Layerを導入します。
  論文  参考訳（メタデータ） (2023-04-03T21:14:59Z)
• OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models [51.68715543630427]
  OnePoseは繰り返し可能なイメージキーポイントの検出に依存しているので、低テクスチャオブジェクトで失敗する傾向がある。 繰り返し可能なキーポイント検出の必要性を取り除くために,キーポイントフリーポーズ推定パイプラインを提案する。 2D-3Dマッチングネットワークは、クエリ画像と再構成されたポイントクラウドモデルとの間の2D-3D対応を直接確立する。
  論文  参考訳（メタデータ） (2023-01-18T17:47:13Z)
• Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation [79.78017059539526]
  本研究では,個々のキーポイントと空間的関連キーポイント(ポーズ)の集合を,密集した単一ステージアンカーベース検出フレームワーク内のオブジェクトとしてモデル化する,新しいヒートマップフリーなキーポイント推定手法を提案する。 実験では, KAPAOは従来手法よりもはるかに高速かつ高精度であり, 熱マップ後処理に悩まされていた。 我々の大規模モデルであるKAPAO-Lは、テスト時間拡張なしでMicrosoft COCO Keypoints検証セット上で70.6のAPを達成する。
  論文  参考訳（メタデータ） (2021-11-16T15:36:44Z)
• Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression [81.05772887221333]
  従来のキーポイント検出およびグループ化フレームワークに劣る密度の高いキーポイント回帰フレームワークについて検討する。 我々は,dekr(disentangled keypoint regression)という,単純かつ効果的な手法を提案する。 提案手法はキーポイント検出法やグループ化法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-06T05:54:46Z)
• FAIRS -- Soft Focus Generator and Attention for Robust Object Segmentation from Extreme Points [70.65563691392987]
  本稿では,ユーザ入力からオブジェクトのセグメンテーションを極端点と補正クリックの形で生成する手法を提案する。 提案手法は,エクストリームポイント,クリック誘導,修正クリックを原則として組み込んだ,高品質なトレーニングデータを生成する能力とスケーラビリティを実証する。
  論文  参考訳（メタデータ） (2020-04-04T22:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。