論文の概要: Depth-Guided Contrastive Learning for 2D Representations with 3D Spatial Awareness
- arxiv url: http://arxiv.org/abs/2609.28159v1
- Date: Wed, 23 Sep 2026 14:09:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.057506
- Title: Depth-Guided Contrastive Learning for 2D Representations with 3D Spatial Awareness
- Title(参考訳): 3次元空間認識を伴う2次元表現のための奥行き誘導型コントラスト学習
- Abstract要約: 本稿では,DGCL(Depth-Guided Contrastive Learning)を提案する。
私たちのキーとなるアイデアは、深度を使って局所的な3D近接をコントラスト的な類似性に変換することです。
実験により、DGCLは2次元表現学習を一貫して改善し、より強い空間的および幾何学的理解により、下流のセマンティックなタスクに利益をもたらすことが示された。
- 参考スコア(独自算出の注目度): 2.2916808388513785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard contrastive learning frameworks are mainly designed from a semantic perspective, yet learning 2D visual representations that preserve 3D spatial structure is also important for scene understanding. In this work, we propose Depth-Guided Contrastive Learning (DGCL), a simple auxiliary objective that injects 3D spatial awareness into 2D contrastive representation learning. Our key idea is to use depth to convert local 3D proximity into contrastive similarity: pixels that are closer in 3D space are encouraged to have more similar representations than pixels that are farther apart. Instead of relying on absolute depth values, DGCL formulates supervision through relative 3D distance comparisons among randomly sampled pixels, making the objective invariant to depth scale, efficient to compute, and easy to integrate into existing contrastive frameworks. Experiments across different datasets and models show that DGCL consistently improves 2D representation learning and benefits semantic downstream tasks by stronger spatial and geometric understanding. The code is available on https://github.com/LeungTsang/DGCL.
- Abstract(参考訳): 標準的なコントラスト学習フレームワークは主に意味論的観点から設計されているが、3次元空間構造を保存する2次元視覚表現を学習することはシーン理解においても重要である。
本研究では,DGCL(Depth-Guided Contrastive Learning)を提案する。これは3次元空間認識を2次元コントラスト表現学習に注入する単純な補助的目的である。
私たちのキーとなるアイデアは、深度を使って局所的な3D近接をコントラスト的な類似性に変換することです。
絶対深度値に頼る代わりに、DGCLはランダムにサンプリングされた画素間の相対的な3次元距離比較を通じて監督を定式化し、目的を深度スケールに不変にし、計算しやすく、既存のコントラスト的なフレームワークに統合しやすくする。
異なるデータセットとモデルにわたる実験により、DGCLは、より強力な空間的および幾何学的理解によって、2次元表現学習を改善し、下流のセマンティックなタスクに恩恵をもたらすことが示されている。
コードはhttps://github.com/LeungTsang/DGCLで入手できる。
関連論文リスト
- VR3D: View-Robust 3D Representation Learning for Aerial-Ground Person Re-Identification [35.655590576867574]
地上の人物の再識別は、クロスプラットフォームの視点の違いのために難しい課題である。
既存の手法は2次元画像空間内でのみビュー不変表現を学習しようとする。
映像を3次元座標空間にマッピングする,ビューロバストな3D表現学習フレームワークであるVR3Dを提案する。
論文 参考訳(メタデータ) (2026-08-03T17:59:01Z) - 3D Instance Segmentation Using Deep Learning on RGB-D Indoor Data [0.0]
2次元領域をベースとした畳み込みニューラルネットワーク(Mask R-CNN)深層学習モデルにポイントベースレンダリングモジュールを適用し,深度情報と統合してオブジェクトの3Dインスタンスを認識し,セグメント化する。
3Dポイントクラウド座標を生成するために、RGB画像内の認識対象領域のセグメンテーションされた2Dピクセルを奥行き画像の(u,v)ポイントにマージする。
論文 参考訳(メタデータ) (2024-06-19T08:00:35Z) - Unleash the Potential of Image Branch for Cross-modal 3D Object
Detection [67.94357336206136]
画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。
まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。
第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
論文 参考訳(メタデータ) (2023-01-22T08:26:58Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。
室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
論文 参考訳(メタデータ) (2022-02-17T09:54:29Z) - Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。
本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。
これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
論文 参考訳(メタデータ) (2021-06-14T17:59:59Z) - Learning Joint 2D-3D Representations for Depth Completion [90.62843376586216]
2Dおよび3Dの関節の特徴を抽出することを学ぶシンプルで効果的なニューラルネットワークブロックを設計します。
具体的には、画像画素に2D畳み込みと3D点に連続畳み込みを施した2つのドメイン固有のサブネットワークから構成される。
論文 参考訳(メタデータ) (2020-12-22T22:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。