論文の概要: Alligat0R: Pre-Training Through Co-Visibility Segmentation for Relative Camera Pose Regression

• arxiv url: http://arxiv.org/abs/2503.07561v1
• Date: Mon, 10 Mar 2025 17:29:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 18:54:11.882135
• Title: Alligat0R: Pre-Training Through Co-Visibility Segmentation for Relative Camera Pose Regression
• Title（参考訳）: Alligat0R: 相対カメラポインター回帰のためのコヴィザビリティセグメンテーションによる事前トレーニング
• Authors: Thibaut Loiseau, Guillaume Bourmaud, Vincent Lepetit,
• Abstract要約: 我々は、クロスビュー学習を協調視認性セグメンテーションタスクとして再構成する新しい事前学習手法であるAlligat0Rを紹介する。 提案手法は,画像中の各ピクセルが第2画像において同一視可能であるか,無視されているか,視野外か(FOV)を予測する。 これをサポートするために,250万のイメージペアと高密度なコビジュアビリティアノテーションを備えた大規模データセットであるCube3を提案する。
• 参考スコア（独自算出の注目度）: 23.65253469577653
• License:
• Abstract: Pre-training techniques have greatly advanced computer vision, with CroCo's cross-view completion approach yielding impressive results in tasks like 3D reconstruction and pose regression. However, this method requires substantial overlap between training pairs, limiting its effectiveness. We introduce Alligat0R, a novel pre-training approach that reformulates cross-view learning as a co-visibility segmentation task. Our method predicts whether each pixel in one image is co-visible in the second image, occluded, or outside the field of view (FOV), enabling the use of image pairs with any degree of overlap and providing interpretable predictions. To support this, we present Cub3, a large-scale dataset with 2.5 million image pairs and dense co-visibility annotations derived from the nuScenes dataset. This dataset includes diverse scenarios with varying degrees of overlap. The experiments show that Alligat0R significantly outperforms CroCo in relative pose regression, especially in scenarios with limited overlap. Alligat0R and Cub3 will be made publicly available.
• Abstract（参考訳）: 事前トレーニング技術はコンピュータビジョンが大幅に進歩し、CroCoのクロスビューコンプリートアプローチは、3D再構成やポーズレグレッションといったタスクにおいて印象的な結果をもたらす。 しかし、この方法はトレーニングペア間でかなりの重複が必要であり、その有効性は制限される。 我々は、クロスビュー学習を協調視認性セグメンテーションタスクとして再構成する新しい事前学習手法であるAlligat0Rを紹介する。 提案手法は,画像中の各ピクセルが第2画像に同一視可能であるか,あるいは視野外(FOV)に隠蔽されているかを予測し,任意の重複度を持つ画像ペアの使用を可能にし,解釈可能な予測を提供する。 これをサポートするために、250万のイメージペアとnuScenesデータセットから派生した高密度なコビジュアビリティアノテーションを備えた大規模データセットであるCube3を提案する。 このデータセットには、さまざまな重複度を持つさまざまなシナリオが含まれている。 実験の結果,Aligat0RはCroCoよりも相対的なポーズ回帰において優れており,特に重複が限定されたシナリオでは顕著に優れていた。 Alligat0RとCube3は一般公開される。

関連論文リスト

• One Diffusion to Generate Them All [54.82732533013014]
  OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。 テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。 OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-11-25T12:11:05Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
  GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
  論文  参考訳（メタデータ） (2023-04-06T14:33:05Z)
• Transformer-based Image Generation from Scene Graphs [11.443097632746763]
  グラフ構造化シーン記述は、生成した画像の合成を制御するために、生成モデルで効率的に使用することができる。 従来のアプローチは、グラフ畳み込みネットワークと、レイアウト予測と画像生成のための逆法の組み合わせに基づいている。 グラフ情報の符号化にマルチヘッドアテンションを用いることにより,サンプルデータの品質が向上することを示す。
  論文  参考訳（メタデータ） (2023-03-08T14:54:51Z)
• CroCo v2: Improved Cross-view Completion Pre-training for Stereo Matching and Optical Flow [22.161967080759993]
  自己教師付き事前学習法は、ステレオマッチングや光学フローのような密集した幾何学的視覚タスクでは、まだ提供されていない。 我々は、同じシーンから2番目のビューを利用するマスク付き画像モデリングのバリエーションである、最近のクロスビュー補完フレームワークの上に構築する。 本稿では,ステレオマッチングと光学的流れに関する最先端の成果を,従来のタスク固有の手法を使わずに到達できることを初めて示す。
  論文  参考訳（メタデータ） (2022-11-18T18:18:53Z)
• Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
  一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。 このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。 提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
  論文  参考訳（メタデータ） (2022-04-12T15:03:51Z)
• Unsupervised View-Invariant Human Posture Representation [28.840986167408037]
  本研究では、2次元画像からビュー不変な3次元ポーズ表現を抽出することを学ぶ新しい教師なしアプローチを提案する。 本モデルは,同時フレーム間の人間のポーズの内在的なビュー不変性を活用することで訓練される。 RGB画像と深度画像の非教師なしのクロスビュー動作分類精度の改善を示す。
  論文  参考訳（メタデータ） (2021-09-17T19:23:31Z)
• Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images [79.70127290464514]
  我々は,タスクを2つの段階,すなわち人物のローカライゼーションとポーズ推定に分解する。 また,効率的なメッセージパッシングのための3つのタスク固有グラフニューラルネットワークを提案する。 提案手法は,CMU Panoptic と Shelf のデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-13T11:44:07Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。