論文の概要: DOCTOR: Dynamic On-Chip Remediation Against Temporally-Drifting Thermal
Variations Toward Self-Corrected Photonic Tensor Accelerators
- arxiv url: http://arxiv.org/abs/2403.02688v1
- Date: Tue, 5 Mar 2024 06:17:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 16:00:28.363991
- Title: DOCTOR: Dynamic On-Chip Remediation Against Temporally-Drifting Thermal
Variations Toward Self-Corrected Photonic Tensor Accelerators
- Title(参考訳): DOCTOR: 自己補正型フォトニックテンソル加速器に向けた温度変化に対する動的オンチップ修復
- Authors: Haotian Lu, Sanmitra Banerjee, Jiaqi Gu
- Abstract要約: フォトニックテンソル加速器は、非平行な速度とエネルギー効率を提供する。
光学的ニューラル加速器の変動耐性を高めるために、オフチップノイズ認識トレーニングとオンチップトレーニングが提案されている。
DOCTORと呼ばれる軽量な動的オンチップ・フレームワークを提案し、時間的ドリフトノイズに対して適応的かつその場での精度回復を実現する。
- 参考スコア(独自算出の注目度): 6.601010179779731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photonic computing has emerged as a promising solution for accelerating
computation-intensive artificial intelligence (AI) workloads, offering
unparalleled speed and energy efficiency, especially in resource-limited,
latency-sensitive edge computing environments. However, the deployment of
analog photonic tensor accelerators encounters reliability challenges due to
hardware noises and environmental variations. While off-chip noise-aware
training and on-chip training have been proposed to enhance the variation
tolerance of optical neural accelerators with moderate, static noises, we
observe a notable performance degradation over time due to temporally drifting
variations, which requires a real-time, in-situ calibration mechanism. To
tackle this challenging reliability issues, for the first time, we propose a
lightweight dynamic on-chip remediation framework, dubbed DOCTOR, providing
adaptive, in-situ accuracy recovery against temporally drifting noises. The
DOCTOR framework intelligently monitors the chip status using adaptive probing
and performs fast in-situ training-free calibration to restore accuracy when
necessary. Recognizing nonuniform spatial variation distributions across
devices and tensor cores, we also propose a variation-aware architectural
remapping strategy to avoid executing critical tasks on noisy devices.
Extensive experiments show that our proposed framework can guarantee sustained
performance under drifting variations with 34% higher accuracy and 2-3
orders-of-magnitude lower overhead compared to state-of-the-art on-chip
training methods.
- Abstract(参考訳): フォトニックコンピューティングは計算集約型人工知能(AI)ワークロードを加速するための有望なソリューションとして登場し、特にリソース制限、レイテンシに敏感なエッジコンピューティング環境において、非並列なスピードとエネルギー効率を提供する。
しかしながら、アナログフォトニックテンソル加速器の配備は、ハードウェアノイズや環境変動による信頼性上の課題に直面する。
オフチップノイズ認識トレーニングとオンチップトレーニングは、中等度で静的な雑音を伴う光ニューラルアクセラレータの変動耐性を高めるために提案されているが、リアルタイムのその場校正機構を必要とする時間的変動による顕著な性能劣化を観察する。
この課題に対処するため,我々はDOCTORと呼ばれる軽量な動的オンチップ修復フレームワークを提案し,時間的ドリフトノイズに対して適応的かつその場での精度回復を実現する。
DOCTORフレームワークは、適応的プローブを用いてチップステータスをインテリジェントに監視し、高速なトレーニングフリーキャリブレーションを行い、必要に応じて精度を回復する。
また,デバイスとテンソルコア間の不均一な空間変動分布を認識し,ノイズの多いデバイスでクリティカルタスクを実行するのを避けるために,ばらつき対応アーキテクチャリマップ戦略を提案する。
広範な実験により,提案手法はドリフト変動下での持続的性能を34%高い精度と2-3桁のオーバヘッドで保証できることがわかった。
関連論文リスト
- Quadratic Time-Frequency Analysis of Vibration Signals for Diagnosing
Bearing Faults [15.613528945524791]
本稿では, 騒音レベルの異なる軸受欠陥を診断するための時間周波数解析と深層学習の融合について述べる。
転がり要素軸受の様々な欠陥を診断するための時間周波数畳み込みニューラルネットワーク(TF-CNN)を設計する。
論文 参考訳(メタデータ) (2024-01-02T12:02:50Z) - Real-Time Vibration-Based Bearing Fault Diagnosis Under Time-Varying
Speed Conditions [15.613528945524791]
本稿では,複数障害の診断に有効なリアルタイム畳み込みニューラルネットワーク(CNN)を提案する。
本研究では, 内輪, 外輪, ローラーボール断層に係わる健全な軸受および軸受について実験を行った。
論文 参考訳(メタデータ) (2023-11-30T13:30:00Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-11-06T22:13:10Z) - Adaptive mitigation of time-varying quantum noise [0.1227734309612871]
現在の量子コンピュータは、高いエラー率の非定常ノイズチャネルに悩まされている。
チャネル条件の変化に応じて量子ノイズを学習・緩和するベイズ推論に基づく適応アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-08-16T01:33:07Z) - PTP: Boosting Stability and Performance of Prompt Tuning with
Perturbation-Based Regularizer [94.23904400441957]
損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。
我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。
我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
論文 参考訳(メタデータ) (2023-05-03T20:30:51Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳(メタデータ) (2023-01-18T04:54:58Z) - Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。
結果の問題は強い双対であり、勾配推定は不要であることを示す。
提案手法は画像分類タスクにおける競合性能を示す。
論文 参考訳(メタデータ) (2022-10-27T17:12:48Z) - SpeedLimit: Neural Architecture Search for Quantized Transformer Models [6.491305435530359]
我々は,上界の遅延制約に固執しながら精度を最適化する,新しいニューラルネットワークサーチ(NAS)技術であるSpeedLimitを紹介する。
以上の結果から,性能とレイテンシの最適なバランスを求めるための実現可能性と有効性を明らかにし,レイテンシに敏感な環境に最先端のトランスフォーマーモデルをデプロイするための新たな手段を提供する。
論文 参考訳(メタデータ) (2022-09-25T02:56:01Z) - Taking ROCKET on an Efficiency Mission: Multivariate Time Series
Classification with LightWaveS [3.5786621294068373]
正確な多変量時系列分類のためのフレームワークLightWaveSを提案する。
ROCKETの機能はわずか2.5%しか採用していないが、最近のディープラーニングモデルに匹敵する精度を実現している。
エッジデバイス上での推論において, ROCKETと比較して9倍から65倍のスピードアップを実現していることを示す。
論文 参考訳(メタデータ) (2022-04-04T10:52:20Z) - Intrinsic Temporal Regularization for High-resolution Human Video
Synthesis [59.54483950973432]
時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。
フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。
我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
論文 参考訳(メタデータ) (2020-12-11T05:29:45Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。