論文の概要: TGRIP: A Text-Guided Approach to Vehicle Instance Prediction in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2607.04812v1
- Date: Mon, 06 Jul 2026 08:47:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.090288
- Title: TGRIP: A Text-Guided Approach to Vehicle Instance Prediction in Autonomous Driving
- Title(参考訳): TGRIP: 自動運転における車両事例予測のためのテキストガイドによるアプローチ
- Abstract要約: Birds-Eye View (BEV) エンドツーエンドのインスタンス予測は、自律運転認識のための堅牢なパラダイムとして登場した。
現在の最先端のアプローチは、占有率の回帰や光の流れといった幾何学的監督に大きく依存している。
このギャップを埋める新しいフレームワークであるText-Guided Representation for Instance Prediction (TGRIP)を紹介します。
- 参考スコア(独自算出の注目度): 1.5327485092552822
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Bird's-Eye View (BEV) end-to-end instance prediction has emerged as a robust paradigm for autonomous driving perception, effectively mitigating the error propagation inherent in traditional modular pipelines. However, current state-of-the-art approaches rely predominantly on geometric supervision, such as occupancy regression and optical flow, effectively treating scene agents as generic moving obstacles. This absence of explicit semantic awareness imposes limitations on the capacity of the model to solve ambiguities in complex scenarios, particularly those where object-specific behavior is essential for accurate forecasting (e.g. overtaking, intersections). In this paper, we introduce Text-Guided Representation for Instance Prediction (TGRIP), a novel framework that bridges this gap by injecting rich semantic priors into the instance prediction loop. The proposed teacher-student pipeline employs Vision-Language Foundation Models to generate dense, semantic-enhanced BEV maps from multi-camera images. These maps serve as auxiliary supervision during training, guiding the network to learn spatio-temporal representations that are not only geometrically consistent but also semantically discriminative. To the best of our knowledge, this represents the first attempt to unify semantic guidance with the temporal task of future instance prediction. The experimental results demonstrate that TGRIP surpasses existing state-of-the-art models in nuScenes, validating the hypothesis that semantic enrichment is a fundamental element for robust, end-to-end motion prediction. Code is available on https://github.com/miguelag99/TGRIP.
- Abstract(参考訳): Bird's-Eye View (BEV) エンドツーエンドのインスタンス予測は、自律運転認識のための堅牢なパラダイムとして現れ、従来のモジュールパイプライン固有のエラー伝搬を効果的に軽減している。
しかし、現在の最先端のアプローチは、占有率の回帰や光流といった幾何学的監督に大きく依存しており、シーンエージェントを一般的な移動障害物として効果的に扱うことができる。
この明示的な意味認識の欠如は、複雑なシナリオにおけるあいまいさを解決するためのモデルの能力に制限を課し、特に正確な予測(例えば、オーバーテイク、交差点)にはオブジェクト固有の振る舞いが不可欠である。
本稿では,このギャップを埋める新しいフレームワークであるText-Guided Representation for Instance Prediction (TGRIP)を紹介する。
提案した教師学生パイプラインでは、Vision-Language Foundation Modelsを使用して、マルチカメラ画像から密集したセマンティックなBEVマップを生成する。
これらの地図は、トレーニング中に補助的な監督として機能し、幾何学的に一貫しただけでなく、意味的に識別可能な時空間表現をネットワークに学習させる。
我々の知る限りでは、これは将来のインスタンス予測の時間的タスクとセマンティックガイダンスを統合する最初の試みである。
実験の結果,TGRIP は nuScenes の既存の最先端モデルを超え,セマンティックエンリッチメントが堅牢でエンドツーエンドな動作予測の基本的な要素であるという仮説を検証した。
コードはhttps://github.com/miguelag99/TGRIPで入手できる。
関連論文リスト
- ThinkingVLA: Interleaved Vision and Language Reasoning for Robotic Manipulation [71.69632267962993]
我々は、操作計画が自然に予測に分解され、次の視覚状態が予測され、逆ダイナミクスとなることを論じる。
我々は、この分解を実現する生成モデルである textbfThinkingVLA を提案する。
シミュレーションと実世界のベンチマークの実験では、ThinkingVLAは最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-06-16T13:45:17Z) - FLaRA: Predicting Future Latent Representations for Accident Anticipation [15.994549120609358]
ダッシュカムビデオからの交通事故を予想することは、インテリジェント交通システムにおいて重要な課題である。
事故予知のための潜在表現を予測することで、このパラダイムをシフトさせる新しい予測アーキテクチャであるFLaRAを提案する。
提案手法は,現実的な早期警告機能を維持しつつ,最先端の性能を実現する。
論文 参考訳(メタデータ) (2026-06-12T12:16:45Z) - OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation [61.18260993245354]
Chain-of-Thought(CoT)推論は、VLAベースの自律運転において、軌道予測の強力なドライバである。
本稿では,2つの補助デコーダによって制御されるコンパクトな潜在トークンを通じて推論をルーティングする,統一VLAおよびワールドモデルフレームワークであるOneVLを提案する。
OneVLは、明示的なCoTを超える最初の遅延CoTメソッドとなり、応答のみのレイテンシで最先端の精度を提供する。
論文 参考訳(メタデータ) (2026-04-20T16:37:22Z) - Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction [12.661995278049764]
本稿では,階層型ビデオ予測フレームワークRe2Pixを紹介する。
予測は意味表現予測と表現誘導視覚合成の2つの段階に分けられる。
重要な課題は、トレーニング中に利用できる地道表現と推論で使用される予測表現との間の列車テストのミスマッチから生じる。
論文 参考訳(メタデータ) (2026-04-13T16:42:46Z) - ForecastOcc: Vision-based Semantic Occupancy Forecasting [16.699381591572163]
ForecastOccは視覚に基づくセマンティック占有予測のための最初のフレームワークであり、将来の占有状況とセマンティックカテゴリーを予測する。
本フレームワークは,過去のカメラ画像から直接,外部推定地図に頼らずに,複数の地平線に対するセマンティック占有率の予測を行う。
論文 参考訳(メタデータ) (2026-02-08T15:16:06Z) - Learning from Next-Frame Prediction: Autoregressive Video Modeling Encodes Effective Representations [53.91818843831925]
NExT-Vidは,新しい自己回帰型視覚生成事前学習フレームワークである。
本研究では,文脈分離型自己回帰予測器を導入し,セマンティック表現をターゲットデコーディングから切り離す。
文脈分離型フローマッチング事前学習により,本手法は強い表現を実現する。
論文 参考訳(メタデータ) (2025-12-24T07:07:08Z) - GASP: Unifying Geometric and Semantic Self-Supervised Pre-training for Autonomous Driving [12.889523014369884]
本稿では,時空における任意の将来点を予測して統一表現を学習する幾何学的,意味論的自己教師型事前学習手法GASPを提案する。
実測値の代わりに幾何学的および意味論的4次元占有場をモデル化することにより、モデルは、時間を通して環境と環境の一般的な表現を学習する。
論文 参考訳(メタデータ) (2025-03-19T20:00:27Z) - Flow-guided Motion Prediction with Semantics and Dynamic Occupancy Grid Maps [5.9803668726235575]
OGM(Occupancy Grid Maps)は、一般的にシーン予測に使用される。
近年,OGMと深層学習を併用してシーンの進化を予測する手法が研究されている。
我々は,動的なOGMとセマンティック情報を利用して,将来の車両セマンティックグリッドとシーンの将来の流れを予測できる新しいマルチタスクフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-22T14:42:34Z) - SEPT: Towards Efficient Scene Representation Learning for Motion
Prediction [19.111948522155004]
本稿では,自己教師付き学習を活用し,複雑な交通シーンのための強力なモデルを開発するためのモデリングフレームワークSEPTを提案する。
実験により、SEPTはアーキテクチャ設計や機能エンジニアリングを伴わず、Argoverse 1 と Argoverse 2 のモーション予測ベンチマークで最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2023-09-26T21:56:03Z) - Inverse Dynamics Pretraining Learns Good Representations for Multitask
Imitation [66.86987509942607]
このようなパラダイムを模倣学習でどのように行うべきかを評価する。
本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。
逆動力学モデリングはこの設定に適していると主張する。
論文 参考訳(メタデータ) (2023-05-26T14:40:46Z) - Uncovering the Missing Pattern: Unified Framework Towards Trajectory
Imputation and Prediction [60.60223171143206]
軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。
現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。
本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-28T14:27:27Z) - Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。
私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。
最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
論文 参考訳(メタデータ) (2021-03-09T19:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。