論文の概要: Compute-in-Memory Attention: A Time-Domain Analog Softmax Circuit with RC-Tunable Temperature

• arxiv url: http://arxiv.org/abs/2609.04266v1
• Date: Wed, 02 Sep 2026 18:43:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.756542
• Title: Compute-in-Memory Attention: A Time-Domain Analog Softmax Circuit with RC-Tunable Temperature
• Title（参考訳）: 計算メモリ注意:RC可変温度の時間領域アナログソフトマックス回路
• Abstract要約: 本研究は,GlobalFoundries 22nm完全劣化シリコンオン絶縁体(FDSOI)技術における可変温度アナログソフトマックス回路を提案する。 各入力スコアは、共有落下ランプを用いてタイムドメインイベントに変換される。 提案アーキテクチャは,傾斜斜面とRC時間定数を通したソフトマックス応答を制御し,プログラム可能な有効温度を実現する。
• 参考スコア（独自算出の注目度）: 0.9492005181707919
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Softmax is a key operation in Transformer attention, but its exponentiation and normalization add significant overhead in compute-in-memory (CIM) accelerators, especially when analog attention scores must first be converted to the digital domain. This work presents a tunable-temperature analog softmax circuit in GlobalFoundries 22-nm fully depleted silicon-on-insulator (FDSOI) technology that operates directly on CIM-generated score voltages without intermediate analog-to-digital conversion. Each input score is converted into a time-domain event using a shared falling ramp. The corresponding comparator transition samples an RC-decaying reference to generate an exponential weight, which is then processed by an in-circuit normalization stage. In contrast to analog softmax circuits that rely on transistor weak-inversion behavior for exponentiation, the proposed architecture controls the softmax response through the ramp slope and RC time constant, enabling programmable effective temperature. The 128-element architecture is evaluated using transistor-level and post-layout extracted simulations, including multi-level input vectors, capacitance variation and mismatch, process and temperature variation, monte carlo analysis, and shared-interconnect parasitics. The complete 128-element implementation occupies 9453.42~$μ\mathrm{m}^{2}$ including the shared global ramp circuitry, while each replicated softmax element occupies 70.2~$μ\mathrm{m}^{2}$. The circuit achieves a 242.97-ns evaluation latency at 13.44~mW total power, corresponding to 25.5~pJ per output element. The simultaneous 128-element evaluation achieves an RMSE of 24.46~mV relative to the ideal softmax response. The extracted circuit characteristics are further incorporated into a MemTorch-based hardware-aware Transformer model, where the proposed softmax achieves a validation loss within 2.5\% of the ideal-softmax baseline.
• Abstract（参考訳）: ソフトマックスはトランスフォーマーアテンションの重要な操作であるが、その指数化と正規化は、特にアナログアテンションスコアをデジタルドメインに変換する必要がある場合、計算インメモリ(CIM)アクセラレーターにおいて大きなオーバーヘッドをもたらす。 本研究は、中間アナログ-デジタル変換なしでCIM生成したスコア電圧を直接動作させる22nm完全劣化シリコンオン絶縁体(FDSOI)技術において、可変温度アナログソフトマックス回路を提案する。 各入力スコアは、共有落下ランプを用いてタイムドメインイベントに変換される。 対応するコンパレータ遷移は、RC分解基準をサンプリングして指数重みを生成し、その後、回路内正規化段階によって処理される。 トランジスタの弱反転挙動に依存するアナログソフトマックス回路とは対照的に,提案アーキテクチャは傾斜勾配とRC時間定数によるソフトマックス応答を制御し,プログラム可能な有効温度を実現する。 128要素アーキテクチャは、多レベル入力ベクトル、容量変化とミスマッチ、プロセスと温度変化、モンテカルロ分析、共有接続寄生虫を含むトランジスタレベルおよびポストレイアウト抽出シミュレーションを用いて評価される。 128要素の完全な実装は9453.42~$μ\mathrm{m}^{2}$を占有し、それぞれの複製されたソフトマックス要素は70.2~$μ\mathrm{m}^{2}$を占有する。 回路は出力要素あたり25.5〜pJに対応する13.44〜mWの総出力で242.97nsの評価レイテンシを実現する。 同時128要素評価は、理想的なソフトマックス応答に対するRMSEの24.46~mVを達成する。 抽出した回路特性は,MemTorchベースのハードウェア対応トランスフォーマーモデルにさらに組み込まれ,提案したソフトマックスは,理想ソフトマックスベースラインの2.5倍の精度でバリデーションロスを達成できる。

関連論文リスト

• Machine Learning-Based Reconstruction for Resistive Silicon Sensors [53.365453214937496]
  抵抗型シリコンセンサの機械学習による再構成と圧縮について検討した。 相関パッドからのフルウェーブフォーム情報を用いて、再構成を規則化し、空間情報を抽出する。 まず、LSTM層に基づくリカレントニューラルネットワークモデルを紹介し、フルウェーブフォーム再構成のための概念実証実装を提供する。
  論文  参考訳（メタデータ） (2026-07-13T14:03:26Z)
• UTOPYA: A Multimodal Deep Learning Framework for Physics-Informed Anomaly Detection and Time-Series Prediction [42.532335022354545]
  バッチプロセスにおける異常検出は、過渡的ダイナミクス、欠陥ラベルの不足、単一モードセンサデータへの依存によって妨げられる。 本研究は, バッチ蒸留における異常検出, 時系列予測, 位相分類を共同で扱うマルチモーダルフレームワークUTOPYAを紹介する。 本研究で導入された物理インフォームド正規化スキームは、時間的滑らかさと熱力学的モノトニクスを強制する。
  論文  参考訳（メタデータ） (2026-05-18T10:28:15Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• Adaptive Tensor Network Simulation via Entropy-Feedback PID Control and GPU-Accelerated SVD [0.0]
  ボンドディメンションチは、精度と計算コストのトレードオフを制御する。 固定結合次元戦略は、低絡み領域の廃棄物資源を廃棄するか、高絡み領域の忠実さを失うかのいずれかである。 この研究は、フォン・ノイマンのフィードバックとPID(Proportional-Integral-Derivative)コントローラを利用するボンド次元管理フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-04-05T04:30:46Z)
• Maximum-Entropy Analog Computing Approaching ExaOPS-per-Watt Energy-efficiency at the RF-Edge [1.7445917991523536]
  エントロピー生成の物理は,高性能かつエネルギー効率の良いアナログ計算システムの実装にどのように利用できるかを示す。 このアンサンブルの最大エントロピー状態は、マージンプロパゲーション(MP)分布に対応することを示す。 2Peta (1015$) Bit Operations per Watt (PetaOPS/W) at 8bitcision, 0.8 Exa (1018$) Bit Operations per Watt (ExaOPS/W) at 3-bitcision for RF data sampled at 4 GS/W。
  論文  参考訳（メタデータ） (2025-10-28T21:17:27Z)
• VEXP: A Low-Cost RISC-V ISA Extension for Accelerated Softmax Computation in Transformers [13.984340807378457]
  ソフトマックスの加速は、非ポイント、非線形の性質のために困難であり、指数が最も要求されるステップである。 シュラウドルフ法に基づく新しい近似アルゴリズムを用いて, Bfloat16指数の算術ブロックを設計する。 我々は162.7$times$低レイテンシと74.3$times$低エネルギーでSoftmaxを実行する。
  論文  参考訳（メタデータ） (2025-04-15T14:28:48Z)
• Quantum Circuit Simulation by SGEMM Emulation on Tensor Cores and Automatic Precision Selection [2.9385229328767988]
  入力テンソル要素のレンジ統計を用いて、GEMM操作に使用するコアを選択する。 我々は,Sycamoreの量子回路を含むランダム回路サンプリング(RCS)において,スループットが最大1.86倍であることを示す。
  論文  参考訳（メタデータ） (2023-03-15T23:35:41Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Interconnect Parasitics and Partitioning in Fully-Analog In-Memory Computing Architectures [0.0]
  完全アナログIMCアーキテクチャに実装したディープニューラルネットワーク(DNN)モデルの精度に及ぼすワイヤ寄生抵抗と容量の影響について検討した。 本稿では,アナログ領域における計算を保ちながら寄生虫の影響を軽減するための分配機構を提案する。 分割処理に要する余分な回路により,高消費電力化による精度の向上が期待できる。
  論文  参考訳（メタデータ） (2022-01-29T02:29:27Z)
• AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator [50.31646817567764]
  本稿では,キーワードスポッティング (KWS) と視覚覚醒語 (VWW) を常用するTinyMLモデルについて述べる。 アナログ非イデオロギーに面した精度を維持するため、包括的学習手法を詳述する。 また、プログラム可能な最小領域位相変化メモリ(PCM)アナログCiMアクセラレータであるAON-CiMについて述べる。
  論文  参考訳（メタデータ） (2021-11-10T10:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。