論文の概要: Quantized Distillation: Optimizing Driver Activity Recognition Models for Resource-Constrained Environments

• arxiv url: http://arxiv.org/abs/2311.05970v1
• Date: Fri, 10 Nov 2023 10:07:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 15:34:07.063976
• Title: Quantized Distillation: Optimizing Driver Activity Recognition Models for Resource-Constrained Environments
• Title（参考訳）: 定量蒸留:資源制約環境におけるドライバアクティビティ認識モデル最適化
• Authors: Calvin Tanama, Kunyu Peng, Zdravko Marinov, Rainer Stiefelhagen, and Alina Roitberg
• Abstract要約: 本稿では,資源効率の高いドライバアクティビティ認識のための軽量フレームワークを提案する。 このフレームワークは、ビデオ分類のスピードに最適化されたニューラルネットワークである3D MobileNetを強化する。 モデルサイズを3倍に削減し、推論時間を1.4倍改善する。
• 参考スコア（独自算出の注目度）: 34.80538284957094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning-based models are at the forefront of most driver observation benchmarks due to their remarkable accuracies but are also associated with high computational costs. This is challenging, as resources are often limited in real-world driving scenarios. This paper introduces a lightweight framework for resource-efficient driver activity recognition. The framework enhances 3D MobileNet, a neural architecture optimized for speed in video classification, by incorporating knowledge distillation and model quantization to balance model accuracy and computational efficiency. Knowledge distillation helps maintain accuracy while reducing the model size by leveraging soft labels from a larger teacher model (I3D), instead of relying solely on original ground truth data. Model quantization significantly lowers memory and computation demands by using lower precision integers for model weights and activations. Extensive testing on a public dataset for in-vehicle monitoring during autonomous driving demonstrates that this new framework achieves a threefold reduction in model size and a 1.4-fold improvement in inference time, compared to an already optimized architecture. The code for this study is available at https://github.com/calvintanama/qd-driver-activity-reco.
• Abstract（参考訳）: ディープラーニングベースのモデルは、目覚ましい精度のため、ほとんどのドライバー観察ベンチマークの最前線にあるが、高い計算コストも伴っている。 リソースは現実の運転シナリオで制限されることが多いため、これは難しい。 本稿では,資源効率のよいドライバアクティビティ認識のための軽量フレームワークを提案する。 このフレームワークは、モデル精度と計算効率のバランスをとるために、知識蒸留とモデル量子化を組み込むことにより、ビデオ分類のスピードに最適化された3d mobilenetを強化する。 知識蒸留は、オリジナルの真実データのみに頼るのではなく、より大きな教師モデル(I3D)からのソフトラベルを活用することで、モデルサイズを削減しつつ精度を維持するのに役立つ。 モデル量子化は、モデル重みとアクティベーションのためにより精度の低い整数を用いることで、メモリと計算の要求を大幅に削減する。 自動運転中の車両内監視のための公開データセットの広範なテストは、この新しいフレームワークがモデルサイズを3倍に削減し、推論時間を1.4倍改善したことを実証している。 この研究のコードはhttps://github.com/calvintanama/qd-driver-activity-recoで入手できる。

関連論文リスト

• Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance [15.877771709013743]
  本研究では,3次重み付き埋め込みモデルのためのファインタニングフレームワークを提案する。 プレトレーニング埋込みモデルに三元化を適用するため, 線形層の三元重みを確定するために, 自己学習型知識蒸留を導入する。 パブリックテキストとビジョンデータセットに関する広範な実験により、テナライズされたモデルは、有効性を犠牲にすることなく、低メモリ使用量を消費することを示した。
  論文  参考訳（メタデータ） (2024-11-23T03:44:56Z)
• Open-Source High-Speed Flight Surrogate Modeling Framework [0.0]
  高速飛行車は音速よりもはるかに速く走行し、国防と宇宙探査に不可欠である。 様々な飛行条件下での行動の正確な予測は困難であり、しばしば高価である。 提案されたアプローチでは、より賢く、より効率的な機械学習モデルを作成する。
  論文  参考訳（メタデータ） (2024-11-06T01:34:06Z)
• Distill-then-prune: An Efficient Compression Framework for Real-time Stereo Matching Network on Edge Devices [5.696239274365031]
  本稿では, 知識蒸留とモデルプルーニングを取り入れて, 速度と精度のトレードオフを克服し, 新たな戦略を提案する。 エッジデバイスに高い精度を提供しながら、リアルタイム性能を維持するモデルを得た。
  論文  参考訳（メタデータ） (2024-05-20T06:03:55Z)
• Asymmetric Masked Distillation for Pre-Training Small Foundation Models [52.56257450614992]
  自己教師型基礎モデルは、マスク付きオートエンコーディングの事前学習パラダイムのおかげで、コンピュータビジョンにおいて大きな可能性を秘めている。 本稿では、下流タスクに効率的に適応できる比較的小さな視覚変換器モデルを事前学習することに焦点を当てる。 自動符号化による比較的小さなモデルの事前学習のための新しい非対称マスク蒸留(AMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-06T14:44:34Z)
• Rethinking Voxelization and Classification for 3D Object Detection [68.8204255655161]
  LiDARポイントクラウドからの3Dオブジェクト検出の主な課題は、ネットワークの信頼性に影響を与えることなく、リアルタイムのパフォーマンスを実現することである。 本稿では,高速な動的ボキセラライザを実装することにより,ネットワークの推論速度と精度を同時に向上するソリューションを提案する。 さらに,予測対象を分類し,偽検出対象をフィルタリングする軽量検出サブヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-10T16:22:04Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• BEVDetNet: Bird's Eye View LiDAR Point Cloud based Real-time 3D Object Detection for Autonomous Driving [6.389322215324224]
  キーポイント,ボックス予測,方向予測を用いたオブジェクト中心検出のための単一統一モデルとして,新しいセマンティックセマンティックセマンティクスアーキテクチャを提案する。 提案されたアーキテクチャは簡単に拡張でき、追加の計算なしで Road のようなセマンティックセグメンテーションクラスを含めることができる。 モデルは、KITTIデータセット上のIoU=0.5の平均精度で2%の最小精度の劣化で、他のトップ精度モデルよりも5倍高速です。
  論文  参考訳（メタデータ） (2021-04-21T22:06:39Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)
• Computation on Sparse Neural Networks: an Inspiration for Future Hardware [20.131626638342706]
  スパースニューラルネットワークの計算に関する研究の現状について述べる。 本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。 実際に複雑な問題に対して、重みが支配する領域において、大小のモデルを探索することはより有益であることを示す。
  論文  参考訳（メタデータ） (2020-04-24T19:13:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。