論文の概要: Scan2Cap: Context-aware Dense Captioning in RGB-D Scans

• arxiv url: http://arxiv.org/abs/2012.02206v1
• Date: Thu, 3 Dec 2020 19:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 15:02:04.966912
• Title: Scan2Cap: Context-aware Dense Captioning in RGB-D Scans
• Title（参考訳）: Scan2Cap: RGB-Dスキャンでコンテキスト対応のDense Captioning
• Authors: Dave Zhenyu Chen, Ali Gholami, Matthias Nie{\ss}ner, Angel X. Chang
• Abstract要約: 本稿では,コモディティRGB-Dセンサを用いた3Dスキャンにおける高密度キャプションの課題について紹介する。 入力シーン内のオブジェクトを検出し,それらを自然言語で記述する,エンドツーエンドのトレーニング手法であるScan2Capを提案する。 ScanReferデータセットから3Dオブジェクトを効果的にローカライズし,記述することができる。
• 参考スコア（独自算出の注目度）: 10.688467522949082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the task of dense captioning in 3D scans from commodity RGB-D sensors. As input, we assume a point cloud of a 3D scene; the expected output is the bounding boxes along with the descriptions for the underlying objects. To address the 3D object detection and description problems, we propose Scan2Cap, an end-to-end trained method, to detect objects in the input scene and describe them in natural language. We use an attention mechanism that generates descriptive tokens while referring to the related components in the local context. To reflect object relations (i.e. relative spatial relations) in the generated captions, we use a message passing graph module to facilitate learning object relation features. Our method can effectively localize and describe 3D objects in scenes from the ScanRefer dataset, outperforming 2D baseline methods by a significant margin (27.61% CiDEr@0.5IoUimprovement).
• Abstract（参考訳）: 本稿では,コモディティRGB-Dセンサの3Dスキャンにおける高密度キャプションの課題を紹介する。 入力として、3Dシーンの点雲を仮定し、期待される出力は、基礎となるオブジェクトの記述とともに境界ボックスである。 3Dオブジェクトの検出と記述の問題に対処するために,入力シーン内のオブジェクトを検出し,それらを自然言語で記述する,エンドツーエンドの訓練手法であるScan2Capを提案する。 ローカルコンテキストにおける関連コンポーネントを参照しながら,記述トークンを生成するアテンション機構を用いる。 対象の関係(つまり)を反映する 生成されたキャプションの相対空間関係)では、メッセージパッシンググラフモジュールを使用して、オブジェクト関係の特徴を学習する。 提案手法は,ScanReferデータセットのシーンにおける3Dオブジェクトのローカライズと記述を効果的に行うことができ,2Dベースライン法を顕著なマージン(27.61% CiDEr@0.5IoUimprovement)で上回っている。

関連論文リスト

• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• Object2Scene: Putting Objects in Context for Open-Vocabulary 3D Detection [24.871590175483096]
  ポイントクラウドベースのオープンボキャブラリ3Dオブジェクト検出は、トレーニングセットに地味なアノテーションを持たない3Dカテゴリを検出することを目的としている。 従来のアプローチでは、3Dとカテゴリのセマンティクスの橋渡しとして、大規模にリッチな注釈付き画像データセットを活用していた。 本研究では,大規模大語彙の3Dオブジェクトデータセットを活用する最初のアプローチであるObject2Sceneを提案し,オープンな3Dオブジェクト検出のために既存の3Dシーンデータセットを拡張する。
  論文  参考訳（メタデータ） (2023-09-18T03:31:53Z)
• 3DRP-Net: 3D Relative Position-aware Network for 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドは、自由形式の言語記述によって、ターゲットオブジェクトを3Dポイントクラウドにローカライズすることを目的としている。 3次元相対位置認識ネットワーク(3-Net)という,関係性を考慮した一段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T09:33:25Z)
• Generating Visual Spatial Description via Holistic 3D Scene Understanding [88.99773815159345]
  視覚空間記述(VSD)は、画像内の対象物の空間的関係を記述するテキストを生成することを目的としている。 外部の3Dシーン抽出器を用いて,入力画像の3Dオブジェクトとシーン特徴を抽出する。 対象物の中心となる3次元空間シーングラフ(Go3D-S2G)を構築し,対象物の空間意味を総合的な3次元シーン内にモデル化する。
  論文  参考訳（メタデータ） (2023-05-19T15:53:56Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)
• Spatiality-guided Transformer for 3D Dense Captioning on Point Clouds [20.172702468478057]
  3Dポイントクラウドでのディエンスキャプションは、オブジェクトレベルの3Dシーン理解を含む、視覚と言語に関する新たなタスクである。 本稿では,オブジェクトを記述に変換するトランスフォーマーベースのエンコーダデコーダアーキテクチャ,すなわちSpaCap3Dを提案する。 提案手法は, CIDEr@0.5IoUのベースライン法であるScan2Capを4.94%, CIDEr@0.5IoUで9.61%向上させる。
  論文  参考訳（メタデータ） (2022-04-22T13:07:37Z)
• HyperDet3D: Learning a Scene-conditioned 3D Object Detector [154.84798451437032]
  本研究では3次元物体検出のためのシーン条件付き事前知識を探索するためにHyperDet3Dを提案する。 我々のHyperDet3Dは、ScanNetとSUN RGB-Dデータセットの3Dオブジェクト検出ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-04-12T07:57:58Z)
• Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
  我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。 我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
  論文  参考訳（メタデータ） (2022-03-25T00:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。