論文の概要: Semi-supervised Dense Keypoints Using Unlabeled Multiview Images

• arxiv url: http://arxiv.org/abs/2109.09299v2
• Date: Tue, 20 Feb 2024 01:17:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 22:10:31.439413
• Title: Semi-supervised Dense Keypoints Using Unlabeled Multiview Images
• Title（参考訳）: ラベルなしマルチビュー画像を用いた半教師付きセンスキーポイント
• Authors: Zhixuan Yu, Haozheng Yu, Long Sha, Sujoy Ganguly, Hyun Soo Park
• Abstract要約: 本稿では,ラベルのないマルチビュー画像を用いて高密度なキーポイント検出器を学習するための,エンド・ツー・エンドの半教師付きフレームワークを提案する。 鍵となる課題は、複数のビューで密接なキーポイント間の正確な対応を見つけることである。 2つの望ましい性質を符号化する新しい確率的極性制約を導出する。
• 参考スコア（独自算出の注目度）: 22.449168666514677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new end-to-end semi-supervised framework to learn a dense keypoint detector using unlabeled multiview images. A key challenge lies in finding the exact correspondences between the dense keypoints in multiple views since the inverse of the keypoint mapping can be neither analytically derived nor differentiated. This limits applying existing multiview supervision approaches used to learn sparse keypoints that rely on the exact correspondences. To address this challenge, we derive a new probabilistic epipolar constraint that encodes the two desired properties. (1) Soft correspondence: we define a matchability, which measures a likelihood of a point matching to the other image's corresponding point, thus relaxing the requirement of the exact correspondences. (2) Geometric consistency: every point in the continuous correspondence fields must satisfy the multiview consistency collectively. We formulate a probabilistic epipolar constraint using a weighted average of epipolar errors through the matchability thereby generalizing the point-to-point geometric error to the field-to-field geometric error. This generalization facilitates learning a geometrically coherent dense keypoint detection model by utilizing a large number of unlabeled multiview images. Additionally, to prevent degenerative cases, we employ a distillation-based regularization by using a pretrained model. Finally, we design a new neural network architecture, made of twin networks, that effectively minimizes the probabilistic epipolar errors of all possible correspondences between two view images by building affinity matrices. Our method shows superior performance compared to existing methods, including non-differentiable bootstrapping in terms of keypoint accuracy, multiview consistency, and 3D reconstruction accuracy.
• Abstract（参考訳）: 本稿では,ラベルのないマルチビュー画像を用いて高密度なキーポイント検出器を学習するための,エンドツーエンドの半教師付きフレームワークを提案する。 キーポイントマッピングの逆は解析的に導出も微分もできないため、キーポイントの密接な対応を複数の視点で見つけることが重要な課題である。 この制限は、正確な対応に依存するスパースキーポイントを学習するために使用される既存のマルチビュー監視アプローチを適用することである。 この課題に対処するために、2つの望ましい性質を符号化する新しい確率的極性制約を導出する。 1) ソフト対応性: 他の画像の対応する点と一致する点の確率を計測し, 正確な対応の要求を緩和するマッチング性を定義する。 (2) 幾何学的整合性: 連続対応体のすべての点は、総合的にマルチビュー整合性を満たす必要がある。 一致性により重み付き平均のエピポーラ誤差を用いて確率的エピポーラ制約を定式化し、点対点幾何学誤差をフィールド対フィールド幾何学誤差に一般化する。 この一般化により、多数のラベルのないマルチビュー画像を利用することで、幾何的コヒーレントな高密度キーポイント検出モデルの学習が容易になる。 また, 減数化防止のため, あらかじめ訓練したモデルを用いて蒸留による正則化を行う。 最後に,2つのビュー画像間の対応の確率的エピポーラエラーを,アフィニティ行列の構築によって効果的に最小化する,ツインネットワークによるニューラルネットワークアーキテクチャを設計した。 提案手法は,キーポイント精度,マルチビュー整合性,3次元再構成精度など,従来の方法と比較して優れた性能を示す。

関連論文リスト

• Probabilistically Aligned View-unaligned Clustering with Adaptive Template Selection [32.10307592690486]
  異なる視点から同一ターゲットのインスタンス間でのクロスビュー対応(CVC)は、一貫した表現を熱心に導き出すための重要な前提条件である。 本稿では、ビューアンアライメントクラスタリングのための二部グラフパラダイムに置換導出手法を統合することを提案する。 具体的には、両部グラフで一貫したアンカーとビュー固有グラフを学習し、不整合グラフに適用した置換を導出する。
  論文  参考訳（メタデータ） (2024-09-23T10:30:09Z)
• Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
  乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。 本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。 提案手法の有効性を4つの標準ベンチマークで示す。
  論文  参考訳（メタデータ） (2024-07-10T16:51:32Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• A Probabilistic Relaxation of the Two-Stage Object Pose Estimation Paradigm [0.0]
  オブジェクトポーズ推定のためのマッチングのない確率的定式化を提案する。 視覚的対応と幾何学的アライメントの両方を統一的かつ同時に最適化することができる。 これは、おそらくのポーズの分布全体の異なる可算モードを表現することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:40Z)
• Semi-Supervised Clustering of Sparse Graphs: Crossing the Information-Theoretic Threshold [3.6052935394000234]
  ブロックモデルは、ネットワーク構造データのクラスタリングとコミュニティ検出のための標準ランダムグラフモデルである。 ネットワークトポロジに基づく推定器は、モデルパラメータが一定の閾値以下である場合、スパースグラフの確率よりも大幅に向上する。 パラメータ領域全体でラベルの任意の部分で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-24T00:03:25Z)
• Probabilistic Warp Consistency for Weakly-Supervised Semantic Correspondences [118.6018141306409]
  本稿では,セマンティックマッチングのための弱教師付き学習目標である確率ワープ一貫性を提案する。 まず、同じオブジェクトクラスの異なるインスタンスを表現したペアで、既知のワープを画像の1つに適用することで、画像トリプルを構築する。 我々の目的はまた、キーポイントアノテーションと組み合わせることで、強く監督された体制を大幅に改善する。
  論文  参考訳（メタデータ） (2022-03-08T18:55:11Z)
• Warp Consistency for Unsupervised Learning of Dense Correspondences [116.56251250853488]
  密接な対応を学習する上で重要な課題は、実画像対に対する地道整合の欠如である。 密な対応回帰のための教師なし学習目標であるWarp Consistencyを提案する。 私たちのアプローチは、MegaDepth、RobotCar、TSSなど、いくつかの挑戦的なベンチマークに新しい最先端を設定します。
  論文  参考訳（メタデータ） (2021-04-07T17:58:22Z)
• Isometric Multi-Shape Matching [50.86135294068138]
  形状間の対応を見つけることは、コンピュータビジョンとグラフィックスの基本的な問題である。 アイソメトリーは形状対応問題においてしばしば研究されるが、マルチマッチング環境では明確には考慮されていない。 定式化を解くのに適した最適化アルゴリズムを提案し,コンバージェンスと複雑性解析を提供する。
  論文  参考訳（メタデータ） (2020-12-04T15:58:34Z)
• Self-Calibration Supported Robust Projective Structure-from-Motion [80.15392629310507]
  本稿では,自己校正制約によってマッチングプロセスが支持される統合されたStructure-from-Motion (SfM)法を提案する。 これらの制約を利用して,ロバストなマルチビューマッチングと正確なカメラキャリブレーションを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-07-04T08:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。