論文の概要: NeuroSymbEAD: A Large Scale Neuro-Symbolic Caption Dataset for Omni-Directional Embodied Autonomous Driving
- arxiv url: http://arxiv.org/abs/2609.16919v1
- Date: Tue, 15 Sep 2026 09:52:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.438427
- Title: NeuroSymbEAD: A Large Scale Neuro-Symbolic Caption Dataset for Omni-Directional Embodied Autonomous Driving
- Title（参考訳）: NeuroSymbEAD:Omni-Directional Embodied autonomous Drivingのための大規模脳-心室細動データセット
- Abstract要約: 本稿では,エゴ中心の知識グラフを備えた大規模ニューロシンボリックキャプションデータセットであるNeuroSymbEADを紹介する。
我々はエゴ中心のシーンマップの軽量版を表す多段階のテキストキャプションを生成する。
3Dドライビングシーンを構造化エゴ中心言語に変換することにより、NeuroSymbEADはビジョン言語と基礎モデルのためのベンチマークを提供する。
- 参考スコア（独自算出の注目度）: 18.833199442282652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces NeuroSymbEAD, a large-scale neuro-symbolic caption dataset featuring an ego-centric knowledge graph (KG) of static and dynamic objects annotated with classes, categories, heading directions, orientations, and distances from the ego-vehicle. These annotations are used on the KITTI-360 dataset to generate multilevel textual captions representing a lightweight version of an ego-centric scene map. Outdoor scene-map reconstruction, visual recognition, and object grounding establish baselines for driving common sense and traffic/scene understanding. For these purposes, natural language-based grounded captioning of objects and their complex relationships is a widely adopted contextual representation for indoor scene tasks. Neuro-symbolic representations have proven effective in handling structured information for various computer vision and language applications. Our data annotation pipeline allows the generation of varied map segments, populating simulated or real objects within the bounding boxes predicted by any 3D object detection network, and building hierarchical text captions. We benchmark our neuro-symbolic and ontological caption generation using pre-trained grounding and learned auto-regressive captioning networks. By converting 3D driving scenes into structured ego-centric language, NeuroSymbEAD provides a benchmark for vision-language and foundation models for traffic-scene explanation, 3D reasoning, and interpretable autonomous-driving perception.
- Abstract（参考訳）: 本稿では,クラス,カテゴリ,方向,方向,距離を付加した静的および動的物体のエゴ中心知識グラフ(KG)を特徴とする大規模ニューロシンボリックキャプションデータセットであるNeuroSymbEADを紹介する。
これらのアノテーションは、KITTI-360データセットでエゴ中心のシーンマップの軽量バージョンを表す多レベルテキストキャプションを生成するために使用される。
屋外のシーンマップの再構築、視覚認識、オブジェクト接地は、共通の感覚とトラフィック/シーン理解を駆動するためのベースラインを確立する。
これらの目的のために、自然言語によるオブジェクトの接地キャプションとその複雑な関係は、屋内のシーンタスクに広く採用されている文脈表現である。
ニューロシンボリック表現は、様々なコンピュータビジョンや言語応用のための構造化情報を扱うのに有効であることが証明されている。
我々のデータアノテーションパイプラインは、様々なマップセグメントの生成、任意の3Dオブジェクト検出ネットワークによって予測されるバウンディングボックス内のシミュレーションや実際のオブジェクトの投入、階層的なテキストキャプションの構築を可能にします。
我々は,事前学習した接地と自己回帰的キャプションネットワークを用いて,ニューロシンボリックおよびオントロジ的キャプション生成のベンチマークを行った。
3D駆動シーンを構造化エゴ中心言語に変換することにより、NeuroSymbEADは、交通シーンの説明や3D推論、解釈可能な自動運転知覚のためのビジョン言語と基礎モデルのためのベンチマークを提供する。
関連論文リスト
- Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis [59.527737790821305]
本稿では,3次元シーングラフを用いてオープンな3次元理解を促進する関係認識フレームワークを提案する。
本手法は,物体関係の推測に視覚言語推論を活用することで,多視点観測からリレーショナルシーングラフを構築する。
ScanNetV2、ScanNet200、ScanNet$++$、Replicaの実験は、強力なパフォーマンスと一般化能力を示している。
論文 参考訳（メタデータ） (2026-07-06T17:29:49Z) - AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。
本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。
提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
論文 参考訳（メタデータ） (2026-05-21T17:58:26Z) - MoniRefer: A Real-world Large-scale Multi-modal Dataset based on Roadside Infrastructure for 3D Visual Grounding [30.52190342330071]
3Dビジュアルグラウンドは、与えられた自然言語文に意味的に対応する3Dポイントクラウドシーンでオブジェクトをローカライズすることを目的としている。
MoniReferは、ロードサイドレベルの3Dビジュアルグラウンドのための、世界初の大規模なマルチモーダルデータセットである。
論文 参考訳（メタデータ） (2025-12-31T03:56:28Z) - A Neural Representation Framework with LLM-Driven Spatial Reasoning for Open-Vocabulary 3D Visual Grounding [78.99798110890157]
Open-vocabulary 3D visual groundingは、自由形式の言語クエリに基づいてターゲットオブジェクトをローカライズすることを目的としている。
既存の言語フィールド手法は、言語クエリにおける空間的関係を利用してインスタンスを正確にローカライズするのに苦労する。
本研究では,大規模言語モデル(LLM)に基づく空間推論を用いたニューラル表現に基づく新しいフレームワークであるSpatialReasonerを提案する。
論文 参考訳（メタデータ） (2025-07-09T10:20:38Z) - Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。
アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。
モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
論文 参考訳（メタデータ） (2025-07-05T14:15:52Z) - DenseGrounding: Improving Dense Language-Vision Semantics for Ego-Centric 3D Visual Grounding [44.81427860963744]
この分野での基本課題はエゴ中心の3次元視覚グラウンド(英語版)であり、エージェントは言葉による記述に基づいて現実世界の3次元空間内の対象物を特定する。
視覚的意味論とテキスト的意味論を両立させる新しいアプローチであるDenseGroundingを提案する。
視覚的特徴として,細粒度のグローバルなシーンの特徴を捉えることで,密接なセマンティックなセマンティックなセマンティック・エンハンサーを導入する。
テキスト記述のための言語セマンティックエンハンサー(Language Semantic Enhancer)を提案する。
論文 参考訳（メタデータ） (2025-05-08T05:49:06Z) - 3D Scene Graph Guided Vision-Language Pre-training [11.131667398927394]
3次元視覚言語推論(VL)は、3次元物理世界を自然言語記述で橋渡しする可能性から注目されている。
既存のアプローチは通常、タスク固有の高度に専門化されたパラダイムに従う。
本稿では,3次元シーングラフ誘導型視覚言語事前学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-27T16:10:44Z) - DeViL: Decoding Vision features into Language [53.88202366696955]
ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。
この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。
我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
論文 参考訳（メタデータ） (2023-09-04T13:59:55Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。
本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
論文 参考訳（メタデータ） (2021-07-07T18:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。