論文の概要: Intent3D: 3D Object Detection in RGB-D Scans Based on Human Intention

• arxiv url: http://arxiv.org/abs/2405.18295v2
• Date: Sat, 6 Jul 2024 15:23:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 01:29:45.261377
• Title: Intent3D: 3D Object Detection in RGB-D Scans Based on Human Intention
• Title（参考訳）: 人間の意図に基づくRGB-DスキャンにおけるIntent3D:3Dオブジェクト検出
• Authors: Weitai Kang, Mengxue Qu, Jyoti Kini, Yunchao Wei, Mubarak Shah, Yan Yan,
• Abstract要約: RGB-Dを用いた3次元物体検出における新たな課題として,「背中を支えたいもの」などの人間の意図に基づく3次元対象物検出がある。 ScanNetデータセットの1,042のシーンから209のきめ細かいクラスに関連付けられた44,990の意図的テキストからなる新しいIntent3Dデータセットを紹介した。 我々はまた、この意図に基づく検出問題に対処するために設計された、我々のユニークなアプローチであるIntentNetを提案する。
• 参考スコア（独自算出の注目度）: 86.39271731460927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-life scenarios, humans seek out objects in the 3D world to fulfill their daily needs or intentions. This inspires us to introduce 3D intention grounding, a new task in 3D object detection employing RGB-D, based on human intention, such as "I want something to support my back". Closely related, 3D visual grounding focuses on understanding human reference. To achieve detection based on human intention, it relies on humans to observe the scene, reason out the target that aligns with their intention ("pillow" in this case), and finally provide a reference to the AI system, such as "A pillow on the couch". Instead, 3D intention grounding challenges AI agents to automatically observe, reason and detect the desired target solely based on human intention. To tackle this challenge, we introduce the new Intent3D dataset, consisting of 44,990 intention texts associated with 209 fine-grained classes from 1,042 scenes of the ScanNet dataset. We also establish several baselines based on different language-based 3D object detection models on our benchmark. Finally, we propose IntentNet, our unique approach, designed to tackle this intention-based detection problem. It focuses on three key aspects: intention understanding, reasoning to identify object candidates, and cascaded adaptive learning that leverages the intrinsic priority logic of different losses for multiple objective optimization.
• Abstract（参考訳）: 現実のシナリオでは、人間は日常的なニーズや意図を満たすために、3D世界のオブジェクトを探します。 このことから,RGB-Dを用いた3次元物体検出における新たな課題である,「背中を支える何かが欲しい」といった人間の意図に基づく3次元物体検出の導入が示唆された。 近縁な3Dビジュアルグラウンドは、人間の参照を理解することに焦点を当てている。 人間の意図に基づく検出を実現するため、人間にシーンを観察させ、意図に沿ったターゲット(この場合「ピロー」)を推論し、最後に「ソファの枕」のようなAIシステムへの参照を与える。 代わりに、3DインテンショニングはAIエージェントに対して、人間の意図のみに基づいて、望まれるターゲットを自動的に観察し、推論し、検出するように挑戦する。 この課題に対処するために、ScanNetデータセットの1,042シーンから209のきめ細かいクラスに関連付けられた44,990の意図的なテキストからなる新しいIntent3Dデータセットを紹介した。 また、ベンチマークに基づいて、異なる言語ベースの3Dオブジェクト検出モデルに基づいて、いくつかのベースラインを確立する。 最後に、この意図に基づく検出問題に対処するために設計された、我々のユニークなアプローチであるIntentNetを提案する。 それは、意図的理解、オブジェクト候補を特定する推論、および複数の目的最適化のために異なる損失の本質的な優先度論理を活用する適応学習の3つの重要な側面に焦点を当てている。

関連論文リスト

• Four Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [56.00186960144545]
  3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。 そこで本研究では,高密度な3次元グラウンドネットワークを提案し,グラウンド性能向上を目的とした4つの新しいスタンドアローンモジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-08T19:27:01Z)
• Gait Recognition in the Wild with Dense 3D Representations and A Benchmark [86.68648536257588]
  既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。 本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。 大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
  論文  参考訳（メタデータ） (2022-04-06T03:54:06Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)
• Seeing by haptic glance: reinforcement learning-based 3D object Recognition [31.80213713136647]
  対象物と指の間の触覚接触数に制限があり、対象物を見ることなく3D認識を行うことができる。 この能力は認知神経科学における「触覚的視線」と定義される。 既存の3D認識モデルのほとんどは、高密度な3Dデータに基づいて開発された。 触覚探索によって3Dデータを収集するためにロボットが使用される多くの実生活のユースケースでは、限られた数の3Dポイントしか収集できない。 アクティブに収集された3Dで客観的な3D認識と同時に触覚探査手順を最適化する新しい強化学習ベースのフレームワークが提案される。
  論文  参考訳（メタデータ） (2021-02-15T15:38:22Z)
• Ground-aware Monocular 3D Object Detection for Autonomous Driving [6.5702792909006735]
  1台のRGBカメラで環境中の物体の位置と向きを推定することは、低コストの都市自動運転と移動ロボットにとって難しい課題である。 既存のアルゴリズムのほとんどは、2D-3D対応における幾何学的制約に基づいており、これは一般的な6Dオブジェクトのポーズ推定に由来する。 深層学習の枠組みにおいて、そのようなアプリケーション固有の事前知識を完全に活用するための新しいニューラルネットワークモジュールを導入する。
  論文  参考訳（メタデータ） (2021-02-01T08:18:24Z)
• PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
  既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。 この2つのタスクを同一のメトリック空間で統一するモデルを提案する。 提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-17T05:11:38Z)
• SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation [3.1542695050861544]
  3Dの向きとオブジェクトの変換を推定することは、インフラストラクチャレスの自律走行と運転に不可欠である。 SMOKEと呼ばれる新しい3次元オブジェクト検出手法を提案する。 構造的単純さにもかかわらず、提案するSMOKEネットワークは、KITTIデータセット上の既存のモノクル3D検出方法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-24T08:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。