論文の概要: Self-Supervised Image Representation Learning with Geometric Set Consistency

• arxiv url: http://arxiv.org/abs/2203.15361v1
• Date: Tue, 29 Mar 2022 08:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 15:07:13.415749
• Title: Self-Supervised Image Representation Learning with Geometric Set Consistency
• Title（参考訳）: 幾何学的集合整合性を用いた自己教師付き画像表現学習
• Authors: Nenglun Chen, Lei Chu, Hao Pan, Yan Lu and Wenping Wang
• Abstract要約: 本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。 具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
• 参考スコア（独自算出の注目度）: 50.12720780102395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for self-supervised image representation learning under the guidance of 3D geometric consistency. Our intuition is that 3D geometric consistency priors such as smooth regions and surface discontinuities may imply consistent semantics or object boundaries, and can act as strong cues to guide the learning of 2D image representations without semantic labels. Specifically, we introduce 3D geometric consistency into a contrastive learning framework to enforce the feature consistency within image views. We propose to use geometric consistency sets as constraints and adapt the InfoNCE loss accordingly. We show that our learned image representations are general. By fine-tuning our pre-trained representations for various 2D image-based downstream tasks, including semantic segmentation, object detection, and instance segmentation on real-world indoor scene datasets, we achieve superior performance compared with state-of-the-art methods.
• Abstract（参考訳）: 本稿では3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。 我々の直観は、滑らかな領域や表面の不連続といった3次元の幾何的整合性は、意味論やオブジェクトの境界を暗示し、意味ラベルのない2次元画像表現の学習を導くための強い手がかりとなる。 具体的には,3次元幾何学的一貫性を対比学習フレームワークに導入し,画像ビュー内の特徴的一貫性を強制する。 本稿では,幾何整合集合を制約として使用し,それに応じてInfoNCE損失を適用することを提案する。 学習した画像表現が一般的であることを示す。 実世界の屋内シーンデータセットにおける意味セグメンテーション,オブジェクト検出,インスタンスセグメンテーションなど,様々な2次元イメージベースダウンストリームタスクの事前学習表現を微調整することにより,最先端手法と比較して優れた性能を実現する。

関連論文リスト

• MOSE: Monocular Semantic Reconstruction Using NeRF-Lifted Noisy Priors [11.118490283303407]
  画像レベルの雑音を3次元に引き上げるニューラルネットワークセマンティック・リコンストラクション手法を提案する。 本手法は3次元空間と2次元空間の両方で正確な意味論と幾何学を生成する。
  論文  参考訳（メタデータ） (2024-09-21T05:12:13Z)
• 3D Congealing: 3D-Aware Image Alignment in the Wild [44.254247801001675]
  3D Congealingは、意味的に類似したオブジェクトをキャプチャする2D画像の3D対応アライメントの問題である。 形状テンプレートやポーズ,あるいは任意のカメラパラメータを仮定することなく,タスクに対処する一般的なフレームワークを導入する。 我々のフレームワークは、対応マッチング、ポーズ推定、画像編集といった様々なタスクに利用できる。
  論文  参考訳（メタデータ） (2024-04-02T17:32:12Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Pri3D: Can 3D Priors Help 2D Representation Learning? [37.35721274841419]
  近年の3次元知覚の進歩は、3次元空間の幾何学的構造を理解する上で顕著な進歩を示した。 このような幾何学的理解の進歩に触発されて,画像に基づく知覚を幾何学的制約の下で学習した表現で表現することを目指す。 マルチビューRGB-Dデータに基づくネットワークプリトレーニングのためのビュー不変なジオメトリ認識表現の学習手法を提案する。
  論文  参考訳（メタデータ） (2021-04-22T17:59:30Z)
• Joint Deep Multi-Graph Matching and 3D Geometry Learning from Inhomogeneous 2D Image Collections [57.60094385551773]
  非均質な画像コレクションから変形可能な3Dジオメトリモデルを学ぶためのトレーニング可能なフレームワークを提案する。 さらに,2次元画像で表現された物体の3次元形状も取得する。
  論文  参考訳（メタデータ） (2021-03-31T17:25:36Z)
• Self-Supervised 2D Image to 3D Shape Translation with Disentangled Representations [92.89846887298852]
  本稿では,2次元画像ビューと3次元オブジェクト形状を翻訳するフレームワークを提案する。 形状変換のための自己教師型画像変換フレームワークであるSISTを提案する。
  論文  参考訳（メタデータ） (2020-03-22T22:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。