論文の概要: DIFTA-3D: Depth-Consistent Instance-Level Feature Transfer and Adaptation of DINOv3 for 3D Detection
- arxiv url: http://arxiv.org/abs/2609.26702v1
- Date: Tue, 22 Sep 2026 16:53:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.751449
- Title: DIFTA-3D: Depth-Consistent Instance-Level Feature Transfer and Adaptation of DINOv3 for 3D Detection
- Title(参考訳): DIFTA-3D:DINOv3の深部持続型特徴伝達と3次元検出への適応
- Abstract要約: RGB-Dインスタンス検出器は視覚的セマンティクスの恩恵を受けるが、IIFNet3Dカップルが使用するタスク固有の高速R-CNN/ResNetブランチは、別々に訓練された2D検出器に特徴抽出を行う。
そのブランチを凍結したビジョンファウンデーションモデルに置き換えると、このタスク固有の依存関係が削除される。
本稿では,IIFNet3Dのインスタンスレベルの融合パイプラインへのDINOv3の適応により,この置換について検討する。
- 参考スコア(独自算出の注目度): 5.6989606880724155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: RGB-D 3D instance detectors benefit from visual semantics, but the task-specific Faster R-CNN/ResNet branch used by IIFNet3D couples feature extraction to a separately trained 2D detector and its image-domain labels. Replacing that branch with a frozen vision foundation model removes this task-specific dependency, but may introduce occlusion noise and a mismatch between patch features and geometry-aware detection features. In this work, we investigate this replacement through an adaptation of DINOv3 to the instance-level fusion pipeline of IIFNet3D. At the core of our approach is a depth-consistent feature pipeline that projects scene points into calibrated RGB-D frames, applies a metric depth-residual check, averages the accepted DINOv3 features into an offline point cache, and aggregates the cached features inside proposal-aligned RoI grids. The geometric and bidirectional instance-fusion paths are preserved, while Conservative VAID is evaluated as a low-strength, support-weighted semantic distillation recipe applied only to positive RoIs. We conduct extensive evaluations on ScanNetV2 to assess the proposed transfer recipes. On ScanNetV2, our DINOv3 control achieves mAP scores of 76.15 and 60.93 at IoU thresholds of 0.25 and 0.50, respectively. The Conservative VAID setting achieves mAP scores of 76.59 and 62.16, corresponding to numerical gains of 0.44 and 1.23 points over the control, respectively, in this checkpoint-level recipe comparison. The reported IIFNet3D result of 75.7/63.8 is used only as an external reference because the visual branch and processing protocol differ. Accordingly, we interpret these results as evidence for a controlled transfer recipe rather than as a causal estimate of the individual contributions of VAID or depth filtering.
- Abstract(参考訳): RGB-Dインスタンス検出器は視覚的セマンティクスの恩恵を受けるが、IIFNet3Dが使用するタスク固有の高速R-CNN/ResNetブランチは、個別に訓練された2D検出器とそのイメージドメインラベルに特徴抽出を行う。
このブランチを凍結した視覚基盤モデルで置き換えると、このタスク固有の依存関係が取り除かれるが、オクルージョンノイズや、パッチ機能と幾何学的検出機能とのミスマッチが生じる可能性がある。
本研究では,IIFNet3Dのインスタンスレベルの融合パイプラインへのDINOv3の適応を通して,この置換について検討する。
我々のアプローチの核心は、シーンポイントをキャリブレーションされたRGB-Dフレームに投影し、メートル法的な深度残差チェックを適用し、受け入れられたDINOv3機能をオフラインのポイントキャッシュに平均化し、提案されたRoIグリッド内にキャッシュされた機能を集約する、深度一貫性のある機能パイプラインである。
幾何的および双方向のインスタンス融合経路は保存され、保存的VAIDは、正のRoIにのみ適用される低強度、支持重み付きセマンティック蒸留法として評価される。
提案手法を評価するため,ScanNetV2を広範囲に評価する。
ScanNetV2では、我々のDINOv3制御は、IoU閾値0.25と0.50のmAPスコア76.15と60.93を達成する。
このチェックポイントレベルのレシピ比較において、保守的VAID設定は、それぞれ0.44点と1.23点の数値ゲインに対応する76.59点と62.16点のmAPスコアを達成する。
報告された75.7/63.8のIIFNet3D結果は、視覚分岐と処理プロトコルが異なるため、外部参照としてのみ使用される。
したがって,これらの結果はVAIDや深度フィルタリングの個人的貢献の因果推定としてではなく,制御された転写レシピの証拠として解釈する。
関連論文リスト
- Learned Non-Maximum Suppression for 3D Object Detection [1.2744523252873352]
この研究は、非最大抑圧(NMS)を置き換える2つの学習されたフィルタリングモジュールを導入している。
D2D-Rescoreはトランスフォーマーに基づく検出検出(D2D)の注意を、GossipNet3Dは鳥の目視で局所化されたメッセージパッシングを通じて2Dゴシップネットの概念を3Dに適応させる。
論文 参考訳(メタデータ) (2026-06-02T12:34:14Z) - TransBridge: Boost 3D Object Detection by Scene-Level Completion with Transformer Decoder [66.22997415145467]
本稿では,スパース領域における検出機能を改善する共同補完・検出フレームワークを提案する。
具体的には,トランスブリッジ(TransBridge)を提案する。トランスブリッジ(TransBridge)はトランスフォーマーをベースとした新しいアップサンプリングブロックである。
その結果,本フレームワークは,各手法の平均精度(mAP)が0.7から1.5の範囲で,エンドツーエンドの3Dオブジェクト検出を一貫して改善していることがわかった。
論文 参考訳(メタデータ) (2025-12-12T00:08:03Z) - A Lightweight 3D Anomaly Detection Method with Rotationally Invariant Features [60.76577388438418]
3D異常検出(AD)は、ポイントクラウドデータから異常点や領域を特定することを目的として、コンピュータビジョンにおいて重要なタスクである。
既存の手法は、方向と位置の変化を伴う点雲を扱う場合、結果として得られる特徴が著しく異なるため、課題に遭遇する可能性がある。
本稿では、3次元ADのための新しい回転不変特徴量(RIF)フレームワークを提案し、各点を回転不変空間にマッピングして表現の整合性を維持する。
論文 参考訳(メタデータ) (2025-11-17T08:16:05Z) - PosDiffNet: Positional Neural Diffusion for Point Cloud Registration in
a Large Field of View with Perturbations [27.45001809414096]
PosDiffNetは、3Dコンピュータビジョンにおけるポイントクラウド登録のモデルである。
ベルトラミフローに基づくグラフニューラル偏微分方程式(PDE)を用いて高次元特徴を求める。
我々は、点雲間のアライメントを容易にするために、高特徴類似度スコアから導かれる多レベル対応を用いる。
我々はPosDiffNetを複数の3Dポイントクラウドデータセット上で評価し、摂動を伴う広い視野でのポイントクラウド登録において、最先端(SOTA)性能を達成することを検証した。
論文 参考訳(メタデータ) (2024-01-06T08:58:15Z) - V-DETR: DETR with Vertex Relative Position Encoding for 3D Object
Detection [73.37781484123536]
DETRフレームワークを用いた点雲のための高性能な3次元物体検出器を提案する。
限界に対処するため,新しい3次元相対位置(3DV-RPE)法を提案する。
挑戦的なScanNetV2ベンチマークで例外的な結果を示す。
論文 参考訳(メタデータ) (2023-08-08T17:14:14Z) - TransUPR: A Transformer-based Uncertain Point Refiner for LiDAR Point
Cloud Semantic Segmentation [6.587305905804226]
本稿ではトランスUPR(Transformer-based certain point refiner)を提案する。
我々のTransUPRは最先端のパフォーマンス、すなわちSemantic KITTIベンチマーク上の68.2%のIntersection over Union(mIoU)を達成する。
論文 参考訳(メタデータ) (2023-02-16T21:38:36Z) - Deep Hough Voting for Robust Global Registration [52.40611370293272]
6次元変換パラメータ空間におけるハフ投票を利用した実世界の3Dスキャンのペア登録のための効率的なフレームワークを提案する。
提案手法は, 3DMatch と 3DLoMatch のベンチマークにおいて, KITTI odometry データセットで同等の性能を達成しながら, 最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-09-09T14:38:06Z) - UPDesc: Unsupervised Point Descriptor Learning for Robust Registration [54.95201961399334]
UPDescは、ロバストポイントクラウド登録のためのポイント記述子を学習するための教師なしの方法である。
学習した記述子は既存の教師なし手法よりも優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2021-08-05T17:11:08Z) - FS-Net: Fast Shape-based Network for Category-Level 6D Object Pose
Estimation with Decoupled Rotation Mechanism [49.89268018642999]
6次元ポーズ推定のための効率的なカテゴリレベルの特徴抽出が可能な高速形状ベースネットワーク(FS-Net)を提案する。
提案手法は,カテゴリレベルおよびインスタンスレベルの6Dオブジェクトのポーズ推定における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-03-12T03:07:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。