論文の概要: TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

• arxiv url: http://arxiv.org/abs/2608.13495v1
• Date: Thu, 13 Aug 2026 17:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.615491
• Title: TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval
• Title（参考訳）: TraVEL: 自動運転ビデオ検索のための軌道誘導型ビデオ埋め込み学習
• Abstract要約: データキュレーション、モデル開発、安全性分析には、実行ログから関連クリップを効率よく取り出すことが不可欠である。 汎用埋め込みモデルは静的シーンコンテキストからのショートカットに依存することが多い。 そこで我々は, ego-trajectory similarity を報酬として利用する動き認識ファインチューニングフレームワークであるTraVELを紹介した。
• 参考スコア（独自算出の注目度）: 15.588457512574832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently retrieving relevant clips from large-scale driving logs is essential for data curation, model development, and safety analysis. Structured and rule-based retrieval systems can explicitly target driving events, but typically require expert-defined rules, auxiliary data, and multi-stage perception pipelines. Multimodal embedding models offer a simpler and more efficient alternative by representing each video with a single searchable vector. However, general-purpose models often rely on shortcuts from static scene context and struggle to distinguish motion-centric events, such as turning left versus right or accelerating versus decelerating. In this work, we study how to adapt a general-purpose multimodal embedding model to driving-video retrieval. We first fine-tune Qwen3-VL-Embedding on paired clips and reasoning traces from nuReasoning using an InfoNCE objective. While this stage substantially improves overall retrieval, caption supervision alone remains insufficient for fine-grained motion understanding. We therefore introduce TraVEL (Trajectory-Guided Video Embedding Learning), a motion-aware fine-tuning framework that uses ego-trajectory similarity as a reward within Group Relative Policy Optimization. Trajectories serve only as privileged training supervision; retrieval still operates on single-vector video embeddings without ego poses, expert rules, or auxiliary perception outputs. We further construct a driving-video retrieval benchmark from nuReasoning. Experiments show that TraVEL improves motion-centric retrieval across model scales: relative to SFT, it raises longitudinal and lateral mAP by 9.8 and 4.7 points at 2B, with corresponding gains of 7.2 and 1.5 points at 8B. TraVEL thus combines physically grounded supervision with efficient embedding-based search.
• Abstract（参考訳）: 大規模運転ログから関連クリップを効率よく取得することは、データキュレーション、モデル開発、安全性解析に不可欠である。 構造化およびルールベースの検索システムは、明示的に駆動イベントをターゲットとすることができるが、一般的には専門家が定義したルール、補助データ、多段階認識パイプラインを必要とする。 マルチモーダル埋め込みモデルは、各動画を単一の検索可能なベクトルで表現することで、よりシンプルで効率的な代替手段を提供する。 しかし、汎用モデルは静的シーンコンテキストからのショートカットに頼り、左と右を向く、加速する、減速するといった動き中心のイベントを区別するのに苦労することが多い。 本研究では,運転映像検索に汎用なマルチモーダル埋め込みモデルを適用する方法について検討する。 我々はまず、InfoNCEの目的を用いて、ペアクリップ上のQwen3-VL-EmbeddingとnuReasoningのトレースを微調整する。 この段階は全体の検索を大幅に改善するが、詳細な動作理解にはキャプションの監督だけでは不十分である。 そこで我々は,TraVEL(Trajectory-Guided Video Embedding Learning)を紹介した。 トラジェクトリは特権付きトレーニングの監督としてのみ機能し、検索はエゴポーズ、エキスパートルール、補助的な知覚出力なしでシングルベクタービデオの埋め込みで動作する。 さらに nuReasoning を用いた運転映像検索ベンチマークを構築した。 実験の結果、TraVELはSFTと比較して、縦方向と横方向のmAPを2Bで9.8ポイント、横方向のmAPを4.7ポイント上昇させ、8Bで7.2ポイント、1.5ポイント上昇させる。 そこでTraVELは、物理的に座屈した監視と効率的な埋め込みベースの検索を組み合わせた。

関連論文リスト

• VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding [61.00809248898572]
  ロングビデオ理解(英: Long video understanding)とは、エージェントが時間軸に沿って回転してビデオを読み取る問題である。 適応推論によるSEAパラダイムをインスタンス化するマルチターン推論エージェントである textbfVideoScout を提案する。 長いビデオ理解と推論のベンチマーク実験により、我々の7Bモデルは、既存の訓練された7Bエージェントモデルと比較して、強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-09-14T14:04:03Z)
• Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos [20.73513310337503]
  オンラインで利用できるエゴ中心の運転ビデオは、自動運転のための豊富な視覚的データを提供する。 本研究では,未提示ビデオから直接自律運転表現を学習するための,ラベルのない教師誘導型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-25T16:38:53Z)
• Repurposing Video Diffusion Transformers for Robust Point Tracking [35.486648006768256]
  既存のメソッドは、フレームを独立して処理するResNetのような浅い畳み込みバックボーンに依存している。 ビデオトランスフォーマー(DiT)は本質的に、強力な点追跡能力を持ち、動的動作を頑健に扱う。 本研究は,ポイントトラッキングの有効かつ効率的な基盤として,ビデオDiT機能を検証する。
  論文  参考訳（メタデータ） (2025-12-23T18:54:10Z)
• Dual Learning with Dynamic Knowledge Distillation and Soft Alignment for Partially Relevant Video Retrieval [53.54695034420311]
  実際には、ビデオは通常、より複雑な背景コンテンツによって、長い時間で切り離される。 本稿では,大規模視覚言語事前学習モデルから一般化知識を抽出する新しい枠組みを提案する。 実験により,本モデルがTVR,ActivityNet,Charades-STAデータセット上での最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-10-14T08:38:20Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention [61.3281618482513]
  高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。 CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。 CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
  論文  参考訳（メタデータ） (2024-12-04T18:02:49Z)
• RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning [100.76672109782815]
  本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。 動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。 再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T16:42:50Z)
• AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points [92.91569287889203]
  軌道抽出と予測のための新しいラベルなしアルゴリズムAutoTrajectoryを提案する。 動画中の移動物体をよりよく捉えるために,ダイナミックポイントを導入する。 ビデオ内の歩行者などの移動物体を表すインスタンスポイントに動的ポイントを集約する。
  論文  参考訳（メタデータ） (2020-07-11T08:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。