論文の概要: AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points

• arxiv url: http://arxiv.org/abs/2007.05719v1
• Date: Sat, 11 Jul 2020 08:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 13:35:48.066706
• Title: AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points
• Title（参考訳）: AutoTrajectory:動的ポイントを用いたビデオからのラベルなし軌道抽出と予測
• Authors: Yuexin Ma, Xinge ZHU, Xinjing Cheng, Ruigang Yang, Jiming Liu, Dinesh Manocha
• Abstract要約: 軌道抽出と予測のための新しいラベルなしアルゴリズムAutoTrajectoryを提案する。 動画中の移動物体をよりよく捉えるために,ダイナミックポイントを導入する。 ビデオ内の歩行者などの移動物体を表すインスタンスポイントに動的ポイントを集約する。
• 参考スコア（独自算出の注目度）: 92.91569287889203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current methods for trajectory prediction operate in supervised manners, and therefore require vast quantities of corresponding ground truth data for training. In this paper, we present a novel, label-free algorithm, AutoTrajectory, for trajectory extraction and prediction to use raw videos directly. To better capture the moving objects in videos, we introduce dynamic points. We use them to model dynamic motions by using a forward-backward extractor to keep temporal consistency and using image reconstruction to keep spatial consistency in an unsupervised manner. Then we aggregate dynamic points to instance points, which stand for moving objects such as pedestrians in videos. Finally, we extract trajectories by matching instance points for prediction training. To the best of our knowledge, our method is the first to achieve unsupervised learning of trajectory extraction and prediction. We evaluate the performance on well-known trajectory datasets and show that our method is effective for real-world videos and can use raw videos to further improve the performance of existing models.
• Abstract（参考訳）: 軌道予測の現在の手法は教師付き方式で動作しており、訓練には膨大な量の地上真実データが必要である。 本稿では,トラジェクトリ抽出と生動画を直接使用するための新しいラベルなしアルゴリズムAutoTrajectoryを提案する。 動画中の移動物体をよりよく捉えるために,動的ポイントを導入する。 動的動作のモデル化には,前方逆方向抽出器を用いて時間的一貫性を維持し,画像再構成により教師なしの空間的一貫性を保つ。 次に動的ポイントをインスタンスポイントに集約し,動画中の歩行者などの移動物体を表す。 最後に,予測学習のためのインスタンスポイントをマッチングして軌道を抽出する。 我々の知識を最大限に活用するため,提案手法は軌道抽出と予測の教師なし学習を初めて達成した。 我々は,よく知られた軌道データセット上での性能を評価し,本手法が実世界ビデオに有効であることを示し,生ビデオを用いて既存モデルの性能をさらに向上できることを示す。

関連論文リスト

• VisionTrap: Vision-Augmented Trajectory Prediction Guided by Textual Descriptions [10.748597086208145]
  本研究では,サラウンドビューカメラからの視覚入力を取り入れた新しい手法を提案する。 提案手法は,53msのレイテンシを実現し,リアルタイム処理を実現する。 実験の結果,視覚入力とテキスト記述の両方が軌跡予測性能の向上に寄与していることがわかった。
  論文  参考訳（メタデータ） (2024-07-17T06:39:52Z)
• LG-Traj: LLM Guided Pedestrian Trajectory Prediction [9.385936248154987]
  LG-Trajは歩行者の過去・保存軌道に現れる動きの手がかりを生成する新しい手法である。 これらの動きの手がかりは、歩行者の座標とともに、下層の表現をよりよく理解するのに役立つ。 本手法では,移動パターンをモデル化するモーションエンコーダと,歩行者間の社会的相互作用を捉えるソーシャルデコーダからなるトランスフォーマーアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2024-03-12T19:06:23Z)
• Refining Pre-Trained Motion Models [56.18044168821188]
  我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。 実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。 本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-01-01T18:59:33Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Zero-Shot Open-Vocabulary Tracking with Large Pre-Trained Models [28.304047711166056]
  大規模事前訓練モデルでは、野生の2次元静的画像中の物体の検出とセグメンテーションの進歩が期待できる。 このような大規模なトレーニング済みの静的イメージモデルを,オープン語彙のビデオトラッキングに再利用することは可能だろうか? 本稿では,オープンボキャブラリ検出器,セグメンタ,高密度光流推定器を,任意のカテゴリの物体を2Dビデオで追跡・セグメント化するモデルに再構成する。
  論文  参考訳（メタデータ） (2023-10-10T20:25:30Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• Video Annotation for Visual Tracking via Selection and Refinement [74.08109740917122]
  ビデオシーケンスのバウンディングボックスアノテーションを容易にするための新しいフレームワークを提案する。 目標位置の時間的コヒーレンスを捉えることのできる時間的アセスメントネットワークを提案する。 また、選択したトラッキング結果をさらに強化するために、ビジュアルジオメトリ・リファインメント・ネットワークが設計されている。
  論文  参考訳（メタデータ） (2021-08-09T05:56:47Z)
• Object Tracking Using Spatio-Temporal Future Prediction [41.33609264685531]
  本研究では,背景動きのモデル化と軌跡予測を考慮した学習に基づく追跡手法を提案する。 我々の軌道予測モジュールは、対象物体の過去の軌道に基づいて、現在および将来のフレームにおける対象物体の位置を予測する。 外観に基づくトラッカーと軌道予測を動的に切り替えるために,トラッキング予測の精度を評価するネットワークを用いる。
  論文  参考訳（メタデータ） (2020-10-15T09:02:50Z)
• DyStaB: Unsupervised Object Segmentation via Dynamic-Static Bootstrapping [72.84991726271024]
  我々は,コヒーレントなシーン全体を移動しているように見えるシーンの画像の一部を検出し,分割するための教師なしの手法について述べる。 提案手法はまず,セグメント間の相互情報を最小化することにより,運動場を分割する。 セグメントを使用してオブジェクトモデルを学習し、静的なイメージの検出に使用することができる。
  論文  参考訳（メタデータ） (2020-08-16T22:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。