論文の概要: Zero Memory Overhead Approach for Protecting Vision Transformer Parameters

• arxiv url: http://arxiv.org/abs/2507.03816v1
• Date: Fri, 04 Jul 2025 21:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.888321
• Title: Zero Memory Overhead Approach for Protecting Vision Transformer Parameters
• Title（参考訳）: ビジョントランスパラメータ保護のためのゼロメモリオーバヘッドアプローチ
• Authors: Fereshteh Baradaran, Mohsen Raji, Azadeh Baradaran, Arezoo Baradaran, Reihaneh Akbarifard,
• Abstract要約: ViTパラメータをメモリオーバーヘッドゼロのビットフリップフォールトから保護するために、フォールトトレランス技術が導入された。 故障が検出された場合、影響を受けるパラメータは、ViTモデルのほとんどのパラメータがゼロに近いため、ゼロアウトによってマスクされる。 このアプローチは、ViTモデル全体の信頼性を高め、最大3桁のビットフリップに対するパラメータの堅牢性を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers (ViTs) have demonstrated superior performance over Convolutional Neural Networks (CNNs) in various vision-related tasks such as classification, object detection, and segmentation due to their use of self-attention mechanisms. As ViTs become more popular in safety-critical applications like autonomous driving, ensuring their correct functionality becomes essential, especially in the presence of bit-flip faults in their parameters stored in memory. In this paper, a fault tolerance technique is introduced to protect ViT parameters against bit-flip faults with zero memory overhead. Since the least significant bits of parameters are not critical for model accuracy, replacing the LSB with a parity bit provides an error detection mechanism without imposing any overhead on the model. When faults are detected, affected parameters are masked by zeroing out, as most parameters in ViT models are near zero, effectively preventing accuracy degradation. This approach enhances reliability across ViT models, improving the robustness of parameters to bit-flips by up to three orders of magnitude, making it an effective zero-overhead solution for fault tolerance in critical applications.
• Abstract（参考訳）: 視覚変換器(ViT)は、自己注意機構の使用により、分類、オブジェクト検出、セグメンテーションなどの視覚関連タスクにおいて、畳み込みニューラルネットワーク(CNN)よりも優れた性能を示した。 ViTが自律運転のような安全クリティカルなアプリケーションで普及するにつれて、特にメモリに格納されたパラメータにビットフリップ障害が存在する場合、適切な機能を保証することが不可欠になる。 本稿では,メモリオーバーヘッドゼロのビットフリップフォールトに対して,ViTパラメータを保護するための耐故障性手法を提案する。 最も重要なパラメータのビットはモデル精度にとって重要ではないため、LSBをパリティビットに置き換えることで、モデルにオーバーヘッドを課すことなくエラー検出機構を提供する。 故障が検出された場合、VTモデルのほとんどのパラメータがゼロに近いため、影響を受けるパラメータはゼロアウトによってマスクされるため、精度の劣化を効果的に防止できる。 このアプローチは、ViTモデル全体の信頼性を高め、最大3桁のビットフリップに対するパラメータの堅牢性を向上し、クリティカルアプリケーションにおけるフォールトトレランスに対する効果的なゼロオーバーヘッドソリューションとなる。

関連論文リスト

• FT-Transformer: Resilient and Reliable Transformer with End-to-End Fault Tolerant Attention [5.044679241062448]
  トランスフォーマーモデルは、依存関係をキャプチャするために自己保持機構を活用し、様々なアプリケーションで例外的なパフォーマンスを示す。 既存のフォールトトレランス法は、切り離されたカーネルを使用して各操作を別々に保護し、かなりの計算とメモリオーバーヘッドを発生させる。 本稿では、エンドツーエンドのフォールトトレラントな注意を組み込んだトランスフォーマーモデルのための新しいエラー耐性フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T02:05:08Z)
• Impactful Bit-Flip Search on Full-precision Models [3.4156622779256995]
  Impactful Bit-Flip Search (IBS) は、完全精度ネットワークにおけるクリティカルビットのピンポイントとフリップを効率的に行う新しい手法である。 本稿では,フロート値を元の分布内に保持する手法として,モデルのパラメータを戦略的に修正するウェイト・ステース手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T19:24:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Soft Error Reliability Analysis of Vision Transformers [14.132398744731635]
  自己注意機構を利用する視覚変換器(ViT)は、多くの古典的な視覚タスクにおいて優れた性能を示している。 既存のViTは、主に性能と精度を最適化するが、ソフトエラーによって引き起こされるViTの信頼性問題は概して見過ごされている。 本研究では,ViTの信頼性について検討し,異なるアーキテクチャの粒度の脆弱性について検討する。
  論文  参考訳（メタデータ） (2023-02-21T06:17:40Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。