論文の概要: ABNAT: Attention-Based Noise-Aware Training for Robust Transformers on Analog Compute-in-Memory Systems
- arxiv url: http://arxiv.org/abs/2610.22065v1
- Date: Thu, 15 Oct 2026 15:28:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.158919
- Title: ABNAT: Attention-Based Noise-Aware Training for Robust Transformers on Analog Compute-in-Memory Systems
- Title（参考訳）: ABNAT:アナログ・コンピュート・イン・メモリシステムにおけるロバスト変圧器の注意に基づく騒音認識訓練
- Abstract要約: 本稿では,Analog Compute-in-Memory (CIM)による変換器のノイズがいかに注意を喚起するかを解析する。
ABNAT は,騒音に敏感な学生に,清潔な教師の注意経路の保存を指導する学習フレームワークである。
視覚、言語、マルチモーダルトランスフォーマーの広範な実験により、ABNATは対応するNATベースラインよりもロバスト性を一貫して改善することが示された。
- 参考スコア（独自算出の注目度）: 4.6833133124119275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based models have become the backbone of a wide range of tasks, but their intensive computation and data movement incur substantial energy overhead. Analog compute-in-memory (CIM) offers an energy-efficient alternative, yet its inherent hardware non-idealities perturb stored weights and can significantly degrade model performance. Although existing noise-aware training (NAT) methods improve robustness by injecting noise during training, they largely overlook the critical role of attention mechanisms in Transformer inference.To bridge this gap, we analyze how CIM-induced noise reshapes attention in Transformers and identify two key observations: (1) the divergence between clean and noisy attention maps increases substantially in deeper layers, and (2) conventional NAT can remain overconfident even when its attention routes deviate markedly from the clean reference. Motivated by these findings, we propose ABNAT, an attention-based noise-aware training framework that teaches the noisy student to preserve the clean teacher's headwise attention routes rather than merely reproduce answers, without hardware changes or inference overhead; selective variants further reduce training cost.Extensive experiments across vision, language, and multimodal Transformers show that ABNAT consistently improves robustness over corresponding NAT baselines, improving noise-degraded accuracy by up to 11.28% and reducing attention deviation by up to 85.77%.
- Abstract（参考訳）: トランスフォーマーベースのモデルは、幅広いタスクのバックボーンとなっているが、その集中的な計算とデータ移動は、かなりのエネルギーオーバーヘッドを引き起こす。
アナログ・コンピュート・イン・メモリ(英語版) (CIM) はエネルギー効率のよい代替手段を提供するが、固有のハードウェアの非イデアルティクス・パーターブ(英語版)の重み付けであり、モデル性能を著しく低下させることができる。
既存のノイズアウェアトレーニング(NAT)法では,トレーニング中にノイズを注入することでロバスト性を向上するが,このギャップを埋めるために,CIMによって誘導されるノイズがトランスフォーマーの注意をどう引き起こすかを分析し,(1)クリーンな注意マップとノイズの多い注意マップのばらつきが,より深い層で顕著に増加し,(2)従来のNATは,その注意経路がクリーンな基準から著しく逸脱した場合でも,過信性を維持することができる。
これらの知見を反映して、ABNATは、ハードウェアの変更や推論のオーバーヘッドを伴わずに、単に答えを再現するのではなく、教師の頭回りの注意経路を保ち、より訓練コストを減らし、視覚、言語、マルチモーダルトランスフォーマーを横断する実験により、NATベースラインに対する堅牢性を一貫して改善し、ノイズ劣化精度を最大11.28%向上し、注目偏差を最大85.77%低減する。
関連論文リスト
- Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE [49.45064510462232]
Mixture-of-Experts (MoE)アーキテクチャは、視覚生成における拡散モデルをスケールするための強力なパラダイムとして登場した。
シャープモエ(SharpMoE)は,サリエンシハーネスの正確なルーティング機構を備えたポストトレーニングフレームワークである。
ノイズ歪んだ入力をバイパスすることで、SharpMoEはルータに明確なサリエンシガイダンスを提供する。
論文 参考訳（メタデータ） (2026-06-25T12:13:40Z) - NoiseRater: Meta-Learned Noise Valuation for Diffusion Model Training [81.58321000203712]
NoiseRaterは、拡散モデルトレーニングにおけるインスタンスレベルのノイズ評価のためのメタラーニングフレームワークである。
NoiseRaterは、重要度スコアをデータとタイムステップで条件付けられた個々のノイズ実現に割り当てる。
FFHQとImageNetの実験では、すべてのノイズサンプルが等しく寄与するわけではない。
論文 参考訳（メタデータ） (2026-05-02T19:43:16Z) - Training-Free Intelligibility-Guided Observation Addition for Noisy ASR [57.74127683005929]
本稿では,雑音環境下での音声認識を改善するために,インテリジェンス誘導観測加算法を提案する。
さまざまなSE-ASRの組み合わせとデータセットによる実験は、既存のOAベースラインよりも強い堅牢性と改善を示している。
論文 参考訳（メタデータ） (2026-02-24T14:46:54Z) - Transformer-Based Indirect Structural Health Monitoring of Rail Infrastructure with Attention-Driven Detection and Localization of Transient Defects [1.1782896991259]
我々は,段階的に複雑な課題に対してモデルロバスト性を評価するために,漸進的な合成データベンチマークを導入する。
提案するアテンション・フォーカス変換器とともに,複数の教師なしモデルを評価する。
提案モデルでは,提案手法の精度は最先端の解に匹敵するが,推論速度は向上する。
論文 参考訳（メタデータ） (2025-10-08T23:01:53Z) - Extending Straight-Through Estimation for Robust Neural Networks on Analog CIM Hardware [5.100973962435092]
本稿では,アナログ・コンピュート・イン・メモリ(CIM)システムのためのノイズアウェア・トレーニング手法を提案する。
我々は、後方勾配計算から前方雑音シミュレーションを分離し、より正確だが計算上は難解なノイズモデリングによる雑音認識訓練を可能にする。
本フレームワークは,画像分類の精度を最大5.3%向上し,テキスト生成における0.72パープレキシティ低減を実現し,トレーニング時間の2.2$times$ Speedupを実現し,ピークメモリ使用率を37.9%削減した。
論文 参考訳（メタデータ） (2025-08-16T06:53:44Z) - NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation [66.36912000442608]
NoisyRolloutは単純だが効果的なデータ拡張手法である。
きれいで適度に歪んだ画像からトレーニングの軌跡を混ぜる。
オープンソースのRLチューニングモデル間の最先端性能を実現する。
論文 参考訳（メタデータ） (2025-04-17T16:10:13Z) - Variance-Aware Noisy Training: Hardening DNNs against Unstable Analog Computations [5.003503884073781]
雑音訓練は強靭性を高める最も効果的な手法の1つだが、実環境では性能が低下する。
本稿では,推論中に発生する騒音条件をエミュレートするノイズスケジュールを取り入れた新しい手法として,分散認識ノイズ訓練を提案する。
CIFAR-10では79.3%,CIFAR-10では97.6%,Tiny ImageNetでは32.4%から99.7%に,ロバスト性は著しく向上した。
論文 参考訳（メタデータ） (2025-03-20T14:34:03Z) - Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。
本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。
AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
論文 参考訳（メタデータ） (2023-05-04T19:11:33Z) - SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for
Improving DNN Generalization and Robustness [11.249410336982258]
エネルギー効率の高いディープニューラルネットワーク(DNN)アクセラレータは、推論時にパフォーマンスを低下させる非イデオロギーの傾向がある。
既存の手法では、トレーニング中にDNNの重み付けに摂動を加え、ノイズの多いハードウェアでの推論をシミュレートする。
本研究では,損失値と損失シャープネスの両方を最適化することにより,ノイズの多いハードウェアに対する推論時のロバスト性を著しく向上することを示す。
論文 参考訳（メタデータ） (2022-11-18T16:58:23Z) - Input-independent Attention Weights Are Expressive Enough: A Study of
Attention in Self-supervised Audio Transformers [55.40032342541187]
我々は、自己教師付きアルゴリズムを用いたトランスフォーマーベースモデルを事前訓練し、下流タスクにおける特徴抽出器として扱う。
このアプローチでは、トレーニングと推論の両方において、通常の自己注意と同等のパフォーマンスで20%の時間を要することが示されています。
論文 参考訳（メタデータ） (2020-06-09T10:40:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。