論文の概要: PointCloud-Text Matching: Benchmark Datasets and a Baseline

• arxiv url: http://arxiv.org/abs/2403.19386v3
• Date: Tue, 03 Jun 2025 07:51:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:08.846828
• Title: PointCloud-Text Matching: Benchmark Datasets and a Baseline
• Title（参考訳）: PointCloud-Text Matching:ベンチマークデータセットとベースライン
• Authors: Yanglin Feng, Yang Qin, Dezhong Peng, Hongyuan Zhu, Xi Peng, Peng Hu,
• Abstract要約: PointCloud-Text Matching (PTM)は、指定されたポイントクラウドクエリやテキストクエリにマッチする正確なクロスモーダルインスタンスを特定することを目的としている。 PTMは、屋内/都市キャニオンのローカライゼーションやシーン検索など、様々なシナリオに応用できる可能性がある。 我々は、新しいPTMベンチマークデータセット、すなわちSceneDepict-3D2Tを提案する。
• 参考スコア（独自算出の注目度）: 32.03710715584587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present and study a new instance-level retrieval task: PointCloud-Text Matching (PTM), which aims to identify the exact cross-modal instance that matches a given point-cloud query or text query. PTM has potential applications in various scenarios, such as indoor/urban-canyon localization and scene retrieval. However, there is a lack of suitable and targeted datasets for PTM in practice. To address this issue, we present a new PTM benchmark dataset, namely SceneDepict-3D2T. We observe that the data poses significant challenges due to its inherent characteristics, such as the sparsity, noise, or disorder of point clouds and the ambiguity, vagueness, or incompleteness of texts, which render existing cross-modal matching methods ineffective for PTM. To overcome these challenges, we propose a PTM baseline, named Robust PointCloud-Text Matching method (RoMa). RoMa consists of two key modules: a Dual Attention Perception module (DAP) and a Robust Negative Contrastive Learning module (RNCL). Specifically, DAP leverages token-level and feature-level attention mechanisms to adaptively focus on useful local and global features, and aggregate them into common representations, thereby reducing the adverse impact of noise and ambiguity. To handle noisy correspondence, RNCL enhances robustness against mismatching by dividing negative pairs into clean and noisy subsets and assigning them forward and reverse optimization directions, respectively. We conduct extensive experiments on our benchmarks and demonstrate the superiority of our RoMa.
• Abstract（参考訳）: 本稿では,与えられたポイントクラウドクエリやテキストクエリと一致する正確なクロスモーダルなインスタンスを特定することを目的とした,新しいインスタンスレベルの検索タスクであるPointCloud-Text Matching(PTM)を提示し,研究する。 PTMは、屋内/都市キャニオンのローカライゼーションやシーン検索など、様々なシナリオに応用できる可能性がある。 しかし、実際にPTMに適したターゲットデータセットが存在しない。 この問題に対処するため、新しいPTMベンチマークデータセット、すなわちSceneDepict-3D2Tを提案する。 このデータには, 点雲の空間性, ノイズ, 障害, 曖昧性, 曖昧性, 不完全性などの特徴があり, 既存のクロスモーダルマッチング手法はPTMでは有効ではない。 これらの課題を克服するために,Robost PointCloud-Text Matching Method (RoMa) というPTMベースラインを提案する。 RoMaは、DAP(Dual Attention Perception Module)とRNCL(Robust Negative Contrastive Learning Module)の2つの主要なモジュールで構成されている。 具体的には、トークンレベルと特徴レベルの注意機構を活用して、有用な局所的特徴とグローバル的特徴に適応的に焦点を合わせ、それらを共通の表現に集約することで、ノイズやあいまいさの悪影響を低減する。 雑音対応に対処するため、RNCLは、負のペアをクリーンなサブセットとノイズの多いサブセットに分割し、それぞれ前方と逆の最適化方向を割り当てることで、ミスマッチに対する堅牢性を高める。 ベンチマークで広範な実験を行い、RoMaの優位性を実証する。

関連論文リスト

• Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection [70.84835546732738]
  RGB-Thermal Salient Object Detectionは、目視と熱赤外画像のペア内の目立つ物体をピンポイントすることを目的としている。 従来のエンコーダ・デコーダアーキテクチャは、欠陥モードから生じるノイズに対する頑健さを十分に考慮していなかったかもしれない。 本稿では,Divide-and-Conquer戦略を用いた,堅牢なConfluent Triple-Flow NetworkであるConTriNetを提案する。
  論文  参考訳（メタデータ） (2024-12-02T14:44:39Z)
• BiEquiFormer: Bi-Equivariant Representations for Global Point Cloud Registration [28.75341781515012]
  本研究の目的は,グローバルポイントクラウド登録(PCR)の問題,すなわち,ポイントクラウド間の最適なアライメントを見つけることにある。 本研究では,現在最先端のディープラーニング手法が,任意の点の雲を空間に配置した場合に,大きな性能劣化に悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-07-11T17:58:10Z)
• Beat: Bi-directional One-to-Many Embedding Alignment for Text-based Person Retrieval [66.61856014573742]
  テキストベースの人物検索(TPR)は、テキスト記述に基づいて特定の個人を検索する難題である。 これまでは、テキストと画像のサンプルをモーダルシェード空間で整列させようと試みてきた。 本稿では,各サンプルに対して明確な最適化方向を提供する,効果的な双方向一対多埋め込みパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-06-09T03:06:55Z)
• D3Former: Jointly Learning Repeatable Dense Detectors and Feature-enhanced Descriptors via Saliency-guided Transformer [14.056531181678467]
  我々は、リピータブルなtextbfDetector と機能強化された textbfDescriptors の合同学習を必要とする textitD3Former と呼ばれるサリエンシ誘導型 Transtextbfformer を導入する。 提案手法は,常に最先端のクラウドマッチング手法より優れている。
  論文  参考訳（メタデータ） (2023-12-20T12:19:17Z)
• Dynamic Weighted Combiner for Mixed-Modal Image Retrieval [8.683144453481328]
  フレキシブル検索パラダイムとしてのMixed-Modal Image Retrieval (MMIR) が注目されている。 以前のアプローチは常に2つの重要な要因のため、限られたパフォーマンスを達成する。 以上の課題に対処するための動的重み付け結合器(DWC)を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:36:45Z)
• Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
  本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。 提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
  論文  参考訳（メタデータ） (2023-08-19T05:34:13Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Exploring Active 3D Object Detection from a Generalization Perspective [58.597942380989245]
  不確実性に基づくアクティブな学習ポリシーは、ポイントクラウドの情報性とボックスレベルのアノテーションコストの間のトレードオフのバランスを取れません。 冗長な3次元境界ボックスラベルの点群を階層的にフィルタリングするtextscCrbを提案する。 実験により,提案手法が既存のアクティブラーニング戦略より優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-23T02:43:03Z)
• 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
  本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。 本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
  論文  参考訳（メタデータ） (2022-11-01T20:59:38Z)
• Implicit and Efficient Point Cloud Completion for 3D Single Object Tracking [9.372859423951349]
  適応リファイン予測(ARP)とターゲット知識伝達(TKT)の2つの新しいモジュールを紹介する。 本モデルでは,より少ない計算量を維持しながら,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-09-01T15:11:06Z)
• DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
  複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。 我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2021-11-15T08:27:21Z)
• RPM-Net: Robust Point Matching using Learned Features [79.52112840465558]
  RPM-Netは、より敏感で、より堅牢なディープラーニングベースのアプローチである。 既存の方法とは異なり、我々のRPM-Netは、部分的な可視性を備えた対応や点雲の欠如を処理します。
  論文  参考訳（メタデータ） (2020-03-30T13:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。