論文の概要: DyTTP: Trajectory Prediction with Normalization-Free Transformers

• arxiv url: http://arxiv.org/abs/2504.05356v1
• Date: Mon, 07 Apr 2025 09:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:09.434305
• Title: DyTTP: Trajectory Prediction with Normalization-Free Transformers
• Title（参考訳）: DyTTP:正規化自由変換器による軌道予測
• Authors: Yunxiang Liu, Hongkuo Niu,
• Abstract要約: トランスフォーマーベースのアーキテクチャは、複雑な堅牢性依存関係をキャプチャする上で大きな可能性を証明している。 これらの課題に対処するための2つのアプローチを提案する。 まず、トランスフォーマーを促進する最新の方法であるDynamicTanh(DyT)をバックボーンに統合し、従来のレイヤ正規化を置き換える。 DyTを軌道予測タスクにデプロイする最初の作業です。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Accurate trajectory prediction is a cornerstone for the safe operation of autonomous driving systems, where understanding the dynamic behavior of surrounding agents is crucial. Transformer-based architectures have demonstrated significant promise in capturing complex spatio-temporality dependencies. However, their reliance on normalization layers can lead to computation overhead and training instabilities. In this work, we present a two-fold approach to address these challenges. First, we integrate DynamicTanh (DyT), which is the latest method to promote transformers, into the backbone, replacing traditional layer normalization. This modification simplifies the network architecture and improves the stability of the inference. We are the first work to deploy the DyT to the trajectory prediction task. Complementing this, we employ a snapshot ensemble strategy to further boost trajectory prediction performance. Using cyclical learning rate scheduling, multiple model snapshots are captured during a single training run. These snapshots are then aggregated via simple averaging at inference time, allowing the model to benefit from diverse hypotheses without incurring substantial additional computational cost. Extensive experiments on Argoverse datasets demonstrate that our combined approach significantly improves prediction accuracy, inference speed and robustness in diverse driving scenarios. This work underscores the potential of normalization-free transformer designs augmented with lightweight ensemble techniques in advancing trajectory forecasting for autonomous vehicles.
• Abstract（参考訳）: 正確な軌道予測は、周囲のエージェントの動的挙動を理解することが不可欠である自律運転システムの安全な運転の基盤となる。 トランスフォーマーベースのアーキテクチャは、複雑な時空間依存性をキャプチャする上で大きな可能性を証明している。 しかし、正規化層に依存しているため、計算オーバーヘッドやトレーニングの不安定性が生じる可能性がある。 本研究では,これらの課題に対処するための2つのアプローチを提案する。 まず、トランスフォーマーを促進する最新の方法であるDynamicTanh(DyT)をバックボーンに統合し、従来のレイヤ正規化を置き換える。 この修正により、ネットワークアーキテクチャが単純化され、推論の安定性が向上する。 DyTを軌道予測タスクにデプロイする最初の作業です。 これを補完し、軌道予測性能をさらに向上させるためにスナップショットアンサンブル戦略を用いる。 循環学習率スケジューリングを使用して、単一のトレーニング実行中に複数のモデルスナップショットがキャプチャされる。 これらのスナップショットは、推論時に単純な平均化によって集約され、かなりの計算コストを発生させることなく、様々な仮説の恩恵を受けることができる。 Argoverseデータセットの大規模な実験により、多様な運転シナリオにおける予測精度、推論速度、ロバスト性を大幅に向上することが示された。 この研究は、自動運転車の軌道予測の進展において、軽量アンサンブル技術で強化された正規化フリーなトランスフォーマー設計の可能性を強調している。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Real-Time Motion Prediction via Heterogeneous Polyline Transformer with Relative Pose Encoding [121.08841110022607]
  既存のエージェント中心の手法は、公開ベンチマークで顕著な性能を示した。 K-nearest neighbor attention with relative pose encoding (KNARPE) は、トランスフォーマーがペアワイズ相対表現を使用できる新しいアテンション機構である。 エージェント間でコンテキストを共有し、変化しないコンテキストを再利用することで、私たちのアプローチはシーン中心のメソッドと同じくらい効率的になり、最先端のエージェント中心のメソッドと同等に実行されます。
  論文  参考訳（メタデータ） (2023-10-19T17:59:01Z)
• TrTr: A Versatile Pre-Trained Large Traffic Model based on Transformer for Capturing Trajectory Diversity in Vehicle Population [13.75828180340772]
  本研究では,トランスフォーマーアーキテクチャを交通タスクに適用し,車内における軌道の多様性を学習することを目的とした。 我々は、注意機構に合わせてデータ構造を作成し、繰り返しの時間的要求に対応する一連のノイズを導入する。 設計した事前学習モデルは,車両の空間分布を捉える上で優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-22T07:36:22Z)
• Leveraging the Power of Data Augmentation for Transformer-based Tracking [64.46371987827312]
  トラッキング用にカスタマイズされた2つのデータ拡張手法を提案する。 まず、動的探索半径機構と境界サンプルのシミュレーションにより、既存のランダムトリミングを最適化する。 第2に,背景干渉などの問題に対するモデルを可能にする,トークンレベルの機能混在強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:18:54Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• MSTFormer: Motion Inspired Spatial-temporal Transformer with Dynamic-aware Attention for long-term Vessel Trajectory Prediction [0.6451914896767135]
  MSTFormer は Transformer に基づく動きインスパイアされた容器軌道予測手法である。 軌道の空間的特徴と運動特徴を記述するためのデータ拡張手法を提案する。 第2に,頻繁な動き変換を伴う軌道点に着目したマルチヘッド動的自己認識機構を提案する。 第三に、モデルの性能をさらに向上させるために、知識にインスパイアされた損失関数を構築する。
  論文  参考訳（メタデータ） (2023-03-21T02:11:37Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• PreTR: Spatio-Temporal Non-Autoregressive Trajectory Prediction Transformer [0.9786690381850356]
  PRediction Transformer (PReTR) と呼ばれるモデルを導入し、時間分解型アテンションモジュールを用いてマルチエージェントシーンから特徴を抽出する。 これは、経験的により良い結果を持つ以前の研究されたモデルよりも計算上の必要性が低いことを示している。 我々は,学習対象クエリの集合を並列デコードするために,エンコーダ・デコーダ・トランスフォーマネットワークを利用する。
  論文  参考訳（メタデータ） (2022-03-17T12:52:23Z)
• Spatial-Channel Transformer Network for Trajectory Prediction on the Traffic Scenes [2.7955111755177695]
  本稿では,注意機能付き軌道予測のための空間チャネル変換器ネットワークを提案する。 エージェント間の社会的相互作用を測定するために、チャネルワイズモジュールが挿入される。 このネットワークは,交通現場における実世界の軌道予測データセットにおいて,有望な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-01-27T15:03:42Z)
• Haar Wavelet based Block Autoregressive Flows for Trajectories [129.37479472754083]
  歩行者等の軌道予測は,自律型エージェントの性能向上に不可欠である。 本稿では分割結合を利用した新しいハールウェーブレットに基づくブロック自己回帰モデルを提案する。 実世界の2つのデータセット上で、多種多様な正確な軌跡を生成するアプローチの利点について説明する。
  論文  参考訳（メタデータ） (2020-09-21T13:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。