論文の概要: RISE: Roadside Infrastructure Sequence Understanding across 3D Tracking and Structured Vision-Language Reasoning
- arxiv url: http://arxiv.org/abs/2608.16480v1
- Date: Mon, 17 Aug 2026 12:22:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.678322
- Title: RISE: Roadside Infrastructure Sequence Understanding across 3D Tracking and Structured Vision-Language Reasoning
- Title（参考訳）: RISE:3Dトラッキングと構造化ビジョンランゲージ推論を横断するロードサイドインフラストラクチャシーケンス
- Abstract要約: 本稿では,道路側列における3次元計測と構造化視覚言語推論を対象とするフレームワークを提案する。
メカニカルトラッキングでは、SAM3ビデオアイデンティティとキャリブレーション誘導マスクアソシエーションを組み合わせることで、マルチビュー・アイデンティティー・アソシエーションを実現する。
構造化された視覚言語推論のために、人間レビューされたMLLMパイプラインは、高価値クリップをマイニングし、制約付きフルコンテキストのOracleを使用して、bbox地上予測QAを構築する。
その結果得られたRISE-VQAデータセットには、16の交差点と61の道端ビューにわたる57のクリップから33,910のQAペアが含まれている。
- 参考スコア（独自算出の注目度）: 18.507438868197248
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present RISE (Roadside Infrastructure Sequence Understanding and Evaluation), a framework spanning metric 3D tracking and structured vision-language reasoning in roadside sequences. For metric tracking, our image-only method combines SAM3 video identities with calibration-guided mask agreement for multi-view identity association, recovering persistent 3D tracks without LiDAR or task-specific 3D training. Its calibration-conditioned geometry allows the procedure to be instantiated at different calibrated multi-camera intersections without layout-specific retraining. On 20 human-reviewed clips from six intersections, the generated tracks achieve 66.9 MOTA within the defined multi-view evaluation scope. For structured vision-language reasoning, a human-reviewed MLLM pipeline mines high-value clips and uses a constrained full-context Oracle to construct bbox-grounded predictive QA without exposing future evidence to evaluated models. The resulting RISE-VQA dataset contains 33,910 QA pairs from 557 clips across 16 intersections and 61 roadside views. Its intersection-held-out RISE-Bench evaluates semantic choices, coordinates, future boxes, and interaction sets with deterministic task-specific metrics. Experiments show consistent benefits from domain adaptation and generally from temporal context, while revealing persistent challenges in spatial grounding, future localization, and interaction reasoning.
- Abstract（参考訳）: 道路沿いの3次元トラッキングと構造化された視覚言語推論を対象とするフレームワークRISE(Roadside Infrastructure Sequence Understanding and Evaluation)を提案する。
メカニカルトラッキングでは,SAM3ビデオアイデンティティとキャリブレーション誘導マスクアソシエーションを組み合わせ,LiDARやタスク固有の3Dトレーニングを使わずに永続的な3Dトラックを復元する。
キャリブレーション条件付き幾何により、レイアウト固有のリトレーニングなしで、異なるキャリブレーションされたマルチカメラ交差点でプロシージャをインスタンス化することができる。
6つの交差点からの20の人間レビュークリップにおいて、生成されたトラックは、定義されたマルチビュー評価範囲内で66.9 MOTAを達成する。
構造化された視覚言語推論のために、人間レビューされたMLLMパイプラインは、高価値クリップをマイニングし、制約付きフルコンテキストのOracleを使用して、評価されたモデルに将来の証拠を公開することなく、bboxベースの予測QAを構築する。
その結果得られたRISE-VQAデータセットには、16の交差点と61の道端ビューにわたる57のクリップから33,910のQAペアが含まれている。
RISE-Benchは、意味的選択、座標、将来のボックス、および決定論的タスク固有のメトリクスとの相互作用セットを評価する。
実験は、領域適応と一般に時間的文脈からの一貫した利点を示し、空間的接地、将来の局所化、相互作用推論における永続的な課題を明らかにしている。
関連論文リスト
- TAPVid-MV: A Benchmark for Tracking Any Point in 3D Across Multiple Views [50.26507994908593]
この設定の最初のベンチマークであるTAPVid-MV(Tracking Any Point in Video across Multiple Views)を紹介します。
キュレートされた284のシーケンス、1,142のキャリブレーションされたカメラストリーム、109,769のトラックが、屋内と屋外のドメインにまたがる7つのサブセットにまたがっている。
本研究では,センサ深度,LiDAR,SLAM,SfM点,ヒューマンメッシュ,ポーズされたオブジェクトメッシュ,シミュレーションといった,データセット固有の補助的モダリティを用いてこれらのトラジェクトリを解析し,各シーケンスとトラジェクトリを人間のアノテーションによって視覚的に検証する。
論文 参考訳（メタデータ） (2026-09-01T21:58:51Z) - Geometry-Grounded Unified 3D Perception for Autonomous Driving [36.11730832045922]
カメラベースの自律運転認識には、同期マルチカメラストリーム間のメートル法3D構造を保存する共有表現が必要である。
本稿では、VGGTの再構成指向の潜伏を校正・ストリーミング駆動シーンに適応させる、幾何グラウンドの統一3次元知覚フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-13T12:17:50Z) - A Geometry-Informed Computer Vision Method for Detecting and Examining Overtaking Vehicles From A Bicycle [0.0]
本稿では,自転車に搭載された1台のカメラからのイベント検出を自動で行う,幾何学インフォームドコンピュータビジョンパイプラインを提案する。
パイプラインは97.8%のリコールを達成し、偽陽性はゼロとなり、車両通過の2.44秒前の平均を達成した。
論文 参考訳（メタデータ） (2026-06-03T17:41:00Z) - Cross-Vehicle 3D Geometric Consistency for Self-Supervised Surround Depth Estimation on Articulated Vehicles [3.512352303010361]
そこで本研究では,車体の周囲視深度推定のための自己教師型フレームワークを提案する。
構造コヒーレンスを改善するために,多視点空間拡張戦略とクロスビュー表面正規制約を導入する。
提案手法を検証するために,その上で収集したデータセットを用いて車載実験プラットフォームを構築した。
論文 参考訳（メタデータ） (2026-04-03T02:10:11Z) - Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。
そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。
パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
論文 参考訳（メタデータ） (2025-12-23T17:56:36Z) - Spatial Understanding from Videos: Structured Prompts Meet Simulation Data [89.77871049500546]
本稿では,事前学習された視覚言語モデルにおける3次元空間推論を,アーキテクチャを変更することなく拡張するための統一的なフレームワークを提案する。
このフレームワークは、複雑なシーンと質問を解釈可能な推論ステップに分解する構造化プロンプト戦略であるSpatialMindと、多様な3Dシミュレーションシーンから構築されたスケーラブルな質問応答データセットであるScanForgeQAを組み合わせる。
論文 参考訳（メタデータ） (2025-06-04T07:36:33Z) - St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。
静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。
統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
論文 参考訳（メタデータ） (2025-04-17T17:55:58Z) - Detecting 32 Pedestrian Attributes for Autonomous Vehicles [103.87351701138554]
本稿では、歩行者を共同で検出し、32の歩行者属性を認識するという課題に対処する。
本稿では,複合フィールドフレームワークを用いたマルチタスク学習(MTL)モデルを提案する。
競合検出と属性認識の結果と,より安定したMTLトレーニングを示す。
論文 参考訳（メタデータ） (2020-12-04T15:10:12Z) - Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。
この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。
我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
論文 参考訳（メタデータ） (2020-06-12T09:37:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。