論文の概要: Efficient Transformer-based 3D Object Detection with Dynamic Token Halting

• arxiv url: http://arxiv.org/abs/2303.05078v1
• Date: Thu, 9 Mar 2023 07:26:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 15:55:30.227015
• Title: Efficient Transformer-based 3D Object Detection with Dynamic Token Halting
• Title（参考訳）: 動的トークンハルティングによるトランスフォーマーを用いた3次元物体検出
• Authors: Mao Ye, Gregory P. Meyer, Yuning Chai, Qiang Liu
• Abstract要約: 本稿では,異なる層でトークンを動的に停止させることにより,トランスフォーマーを用いた3次元物体検出器の高速化に有効な手法を提案する。 トークンの停止は微分不可能な操作であるが,本手法はエンドツーエンドの学習を可能にする。 我々のフレームワークでは、停止トークンを再利用して、簡単なトークンリサイクル機構を通じてモデルの予測を知らせることができます。
• 参考スコア（独自算出の注目度）: 27.58909633953486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Balancing efficiency and accuracy is a long-standing problem for deploying deep learning models. The trade-off is even more important for real-time safety-critical systems like autonomous vehicles. In this paper, we propose an effective approach for accelerating transformer-based 3D object detectors by dynamically halting tokens at different layers depending on their contribution to the detection task. Although halting a token is a non-differentiable operation, our method allows for differentiable end-to-end learning by leveraging an equivalent differentiable forward-pass. Furthermore, our framework allows halted tokens to be reused to inform the model's predictions through a straightforward token recycling mechanism. Our method significantly improves the Pareto frontier of efficiency versus accuracy when compared with the existing approaches. By halting tokens and increasing model capacity, we are able to improve the baseline model's performance without increasing the model's latency on the Waymo Open Dataset.
• Abstract（参考訳）: 効率と正確さのバランスは、ディープラーニングモデルのデプロイにおいて長年の課題である。 このトレードオフは、自動運転車のようなリアルタイム安全クリティカルシステムにとってさらに重要である。 本稿では,様々な層でトークンを動的に停止させることにより,トランスベース3次元物体検出を高速化する効果的な手法を提案する。 トークンの停止は微分不可能な操作であるが,本手法は等価な微分可能フォワードパスを活用することで,エンドツーエンドの学習を可能にする。 さらに,本フレームワークでは,停止トークンを再利用して,簡単なトークンリサイクル機構を通じてモデルの予測を通知する。 提案手法は,従来の手法と比較して効率と精度のParetoフロンティアを大幅に改善する。 トークンの停止とモデルキャパシティの増大により、Waymo Open Datasetでのモデルのレイテンシを増大させることなく、ベースラインモデルのパフォーマンスを改善することができます。

関連論文リスト

• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• Distribution Discrepancy and Feature Heterogeneity for Active 3D Object Detection [18.285299184361598]
  LiDARベースの3Dオブジェクト検出は、自律走行とロボット工学の発展にとって重要な技術である。 DDFH(Dis Distribution Discrepancy and Feature Heterogeneity)と呼ばれる新しい効果的なアクティブラーニング手法を提案する。 幾何学的特徴とモデル埋め込みを同時に考慮し、インスタンスレベルとフレームレベルの両方の観点から情報を評価する。
  論文  参考訳（メタデータ） (2024-09-09T08:26:11Z)
• Efficient Point Transformer with Dynamic Token Aggregating for Point Cloud Processing [19.73918716354272]
  ポイントクラウド表現と処理のための動的トークン集約(DTA-Former)を用いた効率的なポイントトランスフォーマーを提案する。 ModelNet40、ShapeNet、航空機搭載MultiSpectral LiDAR(MS-LiDAR)データセット上の前点変換器よりも最大30$times$高速でSOTAパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-23T20:50:50Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Efficient Transformer based Method for Remote Sensing Image Change Detection [17.553240434628087]
  シーン内のオブジェクトの複雑さのため、高解像度なリモートセンシングcdは依然として困難である。 空間時間領域内のコンテキストを効率的に効果的にモデル化するためのバイテンポラル画像変換器(BiT)を提案する。 BiTベースのモデルは、計算コストとモデルパラメータのわずか3倍のコストで純粋に畳み込みベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-02-27T13:08:46Z)
• Data-efficient Weakly-supervised Learning for On-line Object Detection under Domain Shift in Robotics [24.878465999976594]
  文献では、Deep Convolutional Neural Networks (DCNNs)に基づく多数のオブジェクト検出方法が提案されている。 これらの手法はロボティクスに重要な制限がある:オフラインデータのみに学習するとバイアスが発生し、新しいタスクへの適応を防ぐことができる。 本研究では,弱い教師付き学習がこれらの問題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2020-12-28T16:36:11Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。