論文の概要: PulseCheck457: A Diagnostic Benchmark for 6D Spatial Reasoning of Large Multimodal Models
- arxiv url: http://arxiv.org/abs/2502.08636v2
- Date: Thu, 13 Feb 2025 06:42:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:48:34.001673
- Title: PulseCheck457: A Diagnostic Benchmark for 6D Spatial Reasoning of Large Multimodal Models
- Title（参考訳）: PulseCheck457: 大規模マルチモーダルモデルの6次元空間推論のための診断ベンチマーク
- Authors: Xingrui Wang, Wufei Ma, Tiezheng Zhang, Celso M de Melo, Jieneng Chen, Alan Yuille,
- Abstract要約: 空間推論のための4つの重要な機能を備えた,スケーラブルで偏りのない合成データセットを提案する。
本研究では,5つの難易度にまたがって7つの質問型を構成するカスケード評価構造を構築した。
特に3次元推論や6次元空間的タスクにおいて,タスクの複雑さが増大するにつれて,パフォーマンスの全般的な低下が観察される。
- 参考スコア（独自算出の注目度）: 8.499125564147834
- License:
- Abstract: Although large multimodal models (LMMs) have demonstrated remarkable capabilities in visual scene interpretation and reasoning, their capacity for complex and precise 3-dimensional spatial reasoning remains uncertain. Existing benchmarks focus predominantly on 2D spatial understanding and lack a framework to comprehensively evaluate 6D spatial reasoning across varying complexities. To address this limitation, we present PulseCheck457, a scalable and unbiased synthetic dataset designed with 4 key capability for spatial reasoning: multi-object recognition, 2D location, 3D location, and 3D orientation. We develop a cascading evaluation structure, constructing 7 question types across 5 difficulty levels that range from basic single object recognition to our new proposed complex 6D spatial reasoning tasks. We evaluated various large multimodal models (LMMs) on PulseCheck457, observing a general decline in performance as task complexity increases, particularly in 3D reasoning and 6D spatial tasks. To quantify these challenges, we introduce the Relative Performance Dropping Rate (RPDR), highlighting key weaknesses in 3D reasoning capabilities. Leveraging the unbiased attribute design of our dataset, we also uncover prediction biases across different attributes, with similar patterns observed in real-world image settings.
- Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)は、視覚的シーンの解釈や推論において顕著な能力を示したが、複雑で正確な3次元空間推論の能力は未だ不明である。
既存のベンチマークは、主に2次元空間的理解に焦点を当てており、様々な複雑さにわたる6次元空間的推論を包括的に評価する枠組みが欠如している。
この制限に対処するため、PulseCheck457は、空間的推論のための4つの重要な機能を備えたスケーラブルで非バイアスの合成データセットである。
本研究では,基本的な単一物体認識から,新たに提案した複雑な6次元空間推論タスクまで,5つの難易度にまたがる7つの質問タイプを構築するカスケード評価構造を構築した。
我々はPulseCheck457上の様々な大規模マルチモーダルモデル(LMM)を評価し、特に3次元推論と6次元空間的タスクにおいて、タスクの複雑さが増大するにつれて、パフォーマンスが全般的に低下するのを観察した。
これらの課題を定量化するために、我々は3D推論機能における重要な弱点を浮き彫りにしたRPDR(Relative Performance Dropping Rate)を紹介します。
データセットのバイアスのない属性設計を活用することで、さまざまな属性にまたがる予測バイアスも発見できます。
関連論文リスト
- Omni6D: Large-Vocabulary 3D Object Dataset for Category-Level 6D Object Pose Estimation [74.44739529186798]
Omni6Dは、さまざまなカテゴリとさまざまな背景を持つ総合的なRGBDデータセットである。
データセットは166のカテゴリ、標準ポーズに調整された4688のインスタンス、0.8万以上のキャプチャで構成されている。
我々は、このイニシアチブが、産業と学術の両方において、新たな洞察と実質的な進歩の道を開くと信じている。
論文 参考訳（メタデータ） (2024-09-26T20:13:33Z) - Omni6DPose: A Benchmark and Model for Universal 6D Object Pose Estimation and Tracking [9.365544189576363]
6D Object Pose Estimationは、大規模なデータセットの不足に悩まされているコンピュータビジョンにおいて、決定的に難しいタスクである。
本稿では,Omni6DPoseについて紹介する。Omni6DPoseは,オブジェクトのカテゴリ,大規模,多様性の多様性を特徴とするデータセットである。
我々は、SOTAカテゴリレベルのポーズ推定フレームワークの強化版であるGenPose++を紹介し、2つの重要な改善を取り入れた。
論文 参考訳（メタデータ） (2024-06-06T17:57:20Z) - MARVEL: Multidimensional Abstraction and Reasoning through Visual Evaluation and Learning [22.440669015518015]
マルチモーダル大言語モデル(MLLM)が抽象的な視覚的推論能力を持っているかどうかを評価する。
スドゥークパズルと同様に、抽象的視覚推論(AVR)問題は高レベルのパターンを見つける必要がある。
6つのコア知識パターン,幾何学的および抽象的形状,5つのタスク構成からなる770個のMLLMのベンチマークであるMARVELを紹介する。
論文 参考訳（メタデータ） (2024-04-21T09:15:02Z) - Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。
設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
論文 参考訳（メタデータ） (2024-02-28T18:59:31Z) - Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。
提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
論文 参考訳（メタデータ） (2023-10-02T08:49:56Z) - Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。
まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。
最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
論文 参考訳（メタデータ） (2023-07-01T13:53:14Z) - Towards Multimodal Multitask Scene Understanding Models for Indoor
Mobile Agents [49.904531485843464]
本稿では,現実世界の屋内環境におけるラベル付きデータの不十分,あるいは不可能,といった主な課題について論じる。
MMISM (Multi-modality input Multi-task output Indoor Scene Understanding Model) について述べる。
MMISMは、RGB画像だけでなく、スパースライダーポイントを入力と3Dオブジェクト検出、深さ完了、人間のポーズ推定、セマンティックセグメンテーションを出力タスクとみなしている。
MMISMはシングルタスクモデルよりも同等かそれ以上の性能を示す。
論文 参考訳（メタデータ） (2022-09-27T04:49:19Z) - SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object
Detection and Tracking [12.285423418301683]
本稿では,スパースクエリ,ボックスワイズサンプリングによるスパースアテンション,スパース予測を組み込んだ新しい2段フルスパース検出器であるスパースR-CNN3Dを提案する。
nuScenesデータセットの実験では、SRCN3Dは3Dオブジェクト検出とマルチオブジェクト追跡の両方で競合性能を達成している。
論文 参考訳（メタデータ） (2022-06-29T07:58:39Z) - Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。
この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。
我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
論文 参考訳（メタデータ） (2020-06-12T09:37:24Z) - How to track your dragon: A Multi-Attentional Framework for real-time
RGB-D 6-DOF Object Pose Tracking [35.21561169636035]
本稿では,リアルタイムRGB-D 6Dオブジェクトのポーズトラッキング問題に対処するために,新しい多目的畳み込みアーキテクチャを提案する。
物体の3次元モデルとポーズ空間の両方の特別な幾何学的性質を考察し、トレーニング中のデータ拡張により洗練されたアプローチを用いる。
論文 参考訳（メタデータ） (2020-04-21T23:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。