論文の概要: Intelligent Anomaly Detection for Lane Rendering Using Transformer with Self-Supervised Pre-Training and Customized Fine-Tuning

• arxiv url: http://arxiv.org/abs/2312.04398v3
• Date: Mon, 25 Nov 2024 12:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:17:52.004847
• Title: Intelligent Anomaly Detection for Lane Rendering Using Transformer with Self-Supervised Pre-Training and Customized Fine-Tuning
• Title（参考訳）: 自己監督型事前訓練とカスタマイズ型ファインチューニングを用いた変圧器によるレーンレンダリングの知的異常検出
• Authors: Yongqi Dong, Xingmin Lu, Ruohan Li, Wei Song, Bart van Arem, Haneen Farah,
• Abstract要約: 本稿では,車線描画画像の異常検出を分類問題に変換する。 本研究では,データ前処理,マスク付き画像モデリング(MiM)手法による自己教師付き事前学習,ラベル平滑化によるクロスエントロピーベース損失を用いた微調整,後処理からなる4相パイプラインを提案する。 その結果,提案パイプラインは車線描画画像異常検出において優れた性能を示すことがわかった。
• 参考スコア（独自算出の注目度）: 8.042684255871707
• License:
• Abstract: The burgeoning navigation services using digital maps provide great convenience to drivers. Nevertheless, the presence of anomalies in lane rendering map images occasionally introduces potential hazards, as such anomalies can be misleading to human drivers and consequently contribute to unsafe driving conditions. In response to this concern and to accurately and effectively detect the anomalies, this paper transforms lane rendering image anomaly detection into a classification problem and proposes a four-phase pipeline consisting of data pre-processing, self-supervised pre-training with the masked image modeling (MiM) method, customized fine-tuning using cross-entropy based loss with label smoothing, and post-processing to tackle it leveraging state-of-the-art deep learning techniques, especially those involving Transformer models. Various experiments verify the effectiveness of the proposed pipeline. Results indicate that the proposed pipeline exhibits superior performance in lane rendering image anomaly detection, and notably, the self-supervised pre-training with MiM can greatly enhance the detection accuracy while significantly reducing the total training time. For instance, employing the Swin Transformer with Uniform Masking as self-supervised pretraining (Swin-Trans-UM) yielded a heightened accuracy at 94.77% and an improved Area Under The Curve (AUC) score of 0.9743 compared with the pure Swin Transformer without pre-training (Swin-Trans) with an accuracy of 94.01% and an AUC of 0.9498. The fine-tuning epochs were dramatically reduced to 41 from the original 280. In conclusion, the proposed pipeline, with its incorporation of self-supervised pre-training using MiM and other advanced deep learning techniques, emerges as a robust solution for enhancing the accuracy and efficiency of lane rendering image anomaly detection in digital navigation systems.
• Abstract（参考訳）: デジタルマップを使った急成長するナビゲーションサービスは、ドライバーにとって非常に便利だ。 それでも、レーンレンダリングマップ画像における異常の存在は、しばしば潜在的な危険をもたらし、そのような異常は人間の運転者に誤解を与え、結果として安全でない運転条件に寄与する。 そこで本論文では,データ前処理,マスク付き画像モデリング(MiM)手法による自己教師型事前学習,ラベル平滑化によるクロスエントロピーベース損失を用いた微調整,そして後処理により,最先端のディープラーニング技術,特にトランスフォーマーモデルを用いた4相パイプラインを提案する。 提案したパイプラインの有効性を検証した各種実験を行った。 その結果,提案パイプラインはレーンレンダリング画像異常検出において優れた性能を示し,特にMiMを用いた自己教師付き事前学習は,全体のトレーニング時間を著しく短縮し,検出精度を大幅に向上させることができることがわかった。 例えば、Uniform Maskingを自己教師付きプレトレーニング(Swin-Trans-UM)として使用すると、94.77%の精度が得られ、AUCスコアは0.9743となり、プレトレーニングのない純粋なSwin Transformer(Swin-Trans)は94.01%、AUCは0.9498となった。 微調整のエポックは、オリジナルの280から41に劇的に縮小された。 結論として,MiMや他の先進的なディープラーニング技術を用いた自己教師付き事前学習を取り入れたパイプラインが,デジタルナビゲーションシステムにおけるレーンレンダリング画像異常検出の精度と効率を高めるための堅牢なソリューションとして登場した。

関連論文リスト

• GTransPDM: A Graph-embedded Transformer with Positional Decoupling for Pedestrian Crossing Intention Prediction [6.327758022051579]
  GTransPDMは多モード特徴を利用した歩行者横断意図予測のために開発された。 PIEデータセットでは92%の精度で、JAADデータセットでは87%の精度で処理速度は0.05msである。
  論文  参考訳（メタデータ） (2024-09-30T12:02:17Z)
• Batch-oriented Element-wise Approximate Activation for Privacy-Preserving Neural Networks [5.039738753594332]
  ホモモルフィック暗号化(FHE)は、非線型アクティベーション計算にホモモルフィック演算を容易に適用できないという大きな課題に直面している。 バッチ指向の要素単位のデータパッキングと近似アクティベーションを提案し、非線形アクティベーション関数ReLUを近似するために線形低次を訓練する。 実験の結果、4096の入力画像上で、現在の最も効率的なチャネルワイド方式と比較して、暗号文推論を行うと、推測精度が1.65%向上し、償却推論時間が99.5%低下することがわかった。
  論文  参考訳（メタデータ） (2024-03-16T13:26:33Z)
• The Surprising Effectiveness of Skip-Tuning in Diffusion Sampling [78.6155095947769]
  Skip-Tuningは、スキップ接続上でシンプルだが驚くほど効果的にトレーニング不要なチューニング方法である。 ImageNet 64 では 19 NFE (1.75) で事前訓練された EDM に対して100% FID の改善が可能である。 Skip-Tuningは画素空間におけるスコアマッチング損失を増加させる一方、特徴空間における損失は減少する。
  論文  参考訳（メタデータ） (2024-02-23T08:05:23Z)
• Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
  具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。 本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T07:30:41Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Robust Lane Detection through Self Pre-training with Masked Sequential Autoencoders and Fine-tuning with Customized PolyLoss [0.0]
  車線検出は、自動走行の基礎となる車両のローカライゼーションに不可欠である。 本稿では、エンドツーエンドニューラルネットワークモデルのための自己学習マスク付きシーケンシャルオートエンコーダと、カスタマイズされたPolyLossによる微調整のパイプラインを提案する。 実験の結果,提案したパイプラインでは,車線検出モデルの性能は最先端以上のものとなることがわかった。
  論文  参考訳（メタデータ） (2023-05-26T21:36:08Z)
• Detecting Driver Drowsiness as an Anomaly Using LSTM Autoencoders [0.0]
  LSTMオートエンコーダをベースとしたアーキテクチャは,ResNet-34を特徴抽出器として使用する。 提案モデルでは,曲線下0.8740領域の検出率を実現し,特定のシナリオにおいて大幅な改善が可能である。
  論文  参考訳（メタデータ） (2022-09-12T14:25:07Z)
• GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
  我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。 自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。 元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
  論文  参考訳（メタデータ） (2022-03-22T17:06:07Z)
• Automatic Detection of Rail Components via A Deep Convolutional Transformer Network [7.557470133155959]
  レール,クリップ,ボルトを含む多種鉄道部品を検出するための深層畳み込み変圧器ネットワーク方式を提案する。 提案手法は,アンカーボックス,アスペクト比,デフォルト座標,後処理などの事前設定を不要にすることで,検出パイプラインを単純化する。 総合的な計算結果から,提案手法は既存の最先端手法よりも大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-08-05T07:38:04Z)
• Circumventing Outliers of AutoAugment with Knowledge Distillation [102.25991455094832]
  AutoAugmentは多くの視覚タスクの精度を向上させる強力なアルゴリズムである。 本論文は作業機構を深く掘り下げ,AutoAugmentがトレーニング画像から識別情報の一部を除去できることを明らかにする。 教師モデルの出力に言及した知識蒸留を用いて,ネットワークトレーニングの指導を行う。
  論文  参考訳（メタデータ） (2020-03-25T11:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。