論文の概要: Global Clipper: Enhancing Safety and Reliability of Transformer-based Object Detection Models

• arxiv url: http://arxiv.org/abs/2406.03229v4
• Date: Tue, 9 Jul 2024 10:23:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 23:11:39.347986
• Title: Global Clipper: Enhancing Safety and Reliability of Transformer-based Object Detection Models
• Title（参考訳）: グローバルクリッパー:トランスフォーマーを用いた物体検出モデルの安全性と信頼性を高める
• Authors: Qutub Syed Sha, Michael Paulitsch, Karthik Pattabiraman, Korbinian Hagn, Fabian Oboril, Cornelius Buerkle, Kay-Ulrich Scholl, Gereon Hinz, Alois Knoll,
• Abstract要約: 推論中にビットフリップを引き起こすソフトエラーは、性能に大きく影響を与え、予測を変える。 本研究は,トランスフォーマーモデルに特化して設計された効果的な緩和戦略であるGlobal ClipperとGlobal Hybrid Clipperを紹介する。 ソフトエラーに対するレジリエンスを大幅に向上させ、欠陥推論を0%に削減する。
• 参考スコア（独自算出の注目度）: 9.108207586889636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As transformer-based object detection models progress, their impact in critical sectors like autonomous vehicles and aviation is expected to grow. Soft errors causing bit flips during inference have significantly impacted DNN performance, altering predictions. Traditional range restriction solutions for CNNs fall short for transformers. This study introduces the Global Clipper and Global Hybrid Clipper, effective mitigation strategies specifically designed for transformer-based models. It significantly enhances their resilience to soft errors and reduces faulty inferences to ~ 0\%. We also detail extensive testing across over 64 scenarios involving two transformer models (DINO-DETR and Lite-DETR) and two CNN models (YOLOv3 and SSD) using three datasets, totalling approximately 3.3 million inferences, to assess model robustness comprehensively. Moreover, the paper explores unique aspects of attention blocks in transformers and their operational differences from CNNs.
• Abstract（参考訳）: トランスフォーマーをベースとした物体検出モデルが進むにつれ、自動運転車や航空といった重要な分野への影響が拡大すると予想されている。 推論中にビットフリップを引き起こすソフトエラーは、DNNのパフォーマンスに大きく影響し、予測が変更された。 CNNの従来の範囲制限ソリューションは、トランスフォーマーでは不足している。 本研究は,トランスフォーマーモデルに特化して設計された効果的な緩和戦略であるGlobal ClipperとGlobal Hybrid Clipperを紹介する。 ソフトエラーに対するレジリエンスを大幅に向上させ、欠陥推論を ~ 0 % に削減する。 また、3つのデータセットを用いて2つのトランスフォーマーモデル(DINO-DETRとLite-DETR)と2つのCNNモデル(YOLOv3とSSD)を包括的にモデルロバスト性を評価するために、64以上のシナリオにわたる広範なテストについて詳述した。 さらに、トランスにおける注目ブロックのユニークな側面とCNNとの運用上の差異について検討する。

関連論文リスト

• Large-kernel Attention for Efficient and Robust Brain Lesion Segmentation [0.08694241595813026]
  本稿では,U-Netアーキテクチャの完全畳み込み型トランスフォーマーブロックを提案する。 我々のモデルは,最先端技術との競争,CNNのパラメータ効率,変圧器の帰納バイアスの3つの要因において,最大の妥協を提供する。
  論文  参考訳（メタデータ） (2023-08-14T16:38:13Z)
• A Lightweight CNN-Transformer Model for Learning Traveling Salesman Problems [0.0]
  CNN-Transformerモデルは、CNN埋め込み層を用いて入力データから空間的特徴をよりよく学習することができる。 提案モデルは,実世界のデータセットで最高の性能を示す。
  論文  参考訳（メタデータ） (2023-05-03T04:28:10Z)
• Hierarchical Point Attention for Indoor 3D Object Detection [111.04397308495618]
  本研究は、点ベース変圧器検出器の汎用階層設計として、2つの新しい注意操作を提案する。 まず、よりきめ細かい特徴学習を可能にするために、シングルスケールの入力機能からマルチスケールトークンを構築するマルチスケール注意(MS-A)を提案する。 第2に,適応型アテンション領域を持つサイズ適応型ローカルアテンション(Local-A)を提案する。
  論文  参考訳（メタデータ） (2023-01-06T18:52:12Z)
• Leveraging Pre-trained Models for Failure Analysis Triplets Generation [0.0]
  我々は、故障解析トリプレット(FAT)を生成する下流タスクにおいて、トランスフォーマーモデルのような事前訓練された因果言語モデルの注意機構を活用する。 生成事前学習型変換器2(GPT2)は、故障解析三重項生成(FATG)タスクにおいて、他の変換器モデルよりも優れていた。 特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-31T17:21:15Z)
• Federated Adversarial Training with Transformers [16.149924042225106]
  フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。 本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
  論文  参考訳（メタデータ） (2022-06-05T09:07:09Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• On the Adversarial Robustness of Visual Transformers [129.29523847765952]
  本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。 さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
  論文  参考訳（メタデータ） (2021-03-29T14:48:24Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。