論文の概要: CAMformer: Associative Memory is All You Need

• arxiv url: http://arxiv.org/abs/2511.19740v1
• Date: Mon, 24 Nov 2025 21:57:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.181852
• Title: CAMformer: Associative Memory is All You Need
• Title（参考訳）: CAMformer: 連想記憶は必要なだけ
• Authors: Tergel Molom-Ochir, Benjamin F. Morris, Mark Horton, Chiyue Wei, Cong Guo, Brady Taylor, Peter Liu, Shan X. Wang, Deliang Fan, Hai Helen Li, Yiran Chen,
• Abstract要約: トランスフォーマーは、注意の二次的なコストのためにスケーラビリティの課題に直面します。 本稿では,注意を連想記憶操作として再解釈する新しいアクセラレータであるCAMformerを提案する。 CAMformerは10倍のエネルギー効率、最大4倍高いスループット、最先端のアクセラレータに比べて6～8倍低い領域を実現している。
• 参考スコア（独自算出の注目度）: 15.997262604308029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers face scalability challenges due to the quadratic cost of attention, which involves dense similarity computations between queries and keys. We propose CAMformer, a novel accelerator that reinterprets attention as an associative memory operation and computes attention scores using a voltage-domain Binary Attention Content Addressable Memory (BA-CAM). This enables constant-time similarity search through analog charge sharing, replacing digital arithmetic with physical similarity sensing. CAMformer integrates hierarchical two-stage top-k filtering, pipelined execution, and high-precision contextualization to achieve both algorithmic accuracy and architectural efficiency. Evaluated on BERT and Vision Transformer workloads, CAMformer achieves over 10x energy efficiency, up to 4x higher throughput, and 6-8x lower area compared to state-of-the-art accelerators--while maintaining near-lossless accuracy.
• Abstract（参考訳）: トランスフォーマーは、クエリとキー間の密接な類似性計算を含む、注意の二次的なコストのためにスケーラビリティの課題に直面している。 CAMformerは、注意を連想記憶操作として再解釈し、電圧領域のバイナリ注意コンテンツアダクタブルメモリ(BA-CAM)を用いて注意スコアを算出する新しいアクセラレータである。 これにより、アナログ電荷共有による一定時間類似性探索が可能となり、デジタル算術を物理類似性センシングに置き換える。 CAMformerは、アルゴリズムの精度とアーキテクチャの効率の両方を達成するために、階層的な2段階のトップ-kフィルタリング、パイプライン実行、高精度なコンテキスト化を統合している。 BERTとVision Transformerのワークロードに基づいて評価すると、CAMformerは10倍以上のエネルギー効率、最大4倍高いスループット、最先端のアクセラレータに比べて6～8倍低い領域を実現し、ほぼロスレスな精度を維持している。

関連論文リスト

• Fast attention mechanisms: a tale of parallelism [52.7657529272906]
  準四分法的時間複雑性を有する近似近傍注意(ANNA)という,効率的な注意機構を導入する。 我々は,ANNA変換器が従来確立されていた表現力を維持し,MPCアルゴリズムの能力に適合することを示す。
  論文  参考訳（メタデータ） (2025-09-10T20:59:44Z)
• Analog In-Memory Computing Attention Mechanism for Fast and Energy-Efficient Large Language Models [0.755189019348525]
  自己注意によって駆動されるトランスフォーマーネットワークは、大規模言語モデルの中心である。 生成トランスフォーマーでは、自己アテンションはキャッシュメモリを使用してトークンプロジェクションを格納し、各ステップで再計算を避ける。 本稿では、ゲインセルと呼ばれる新しいチャージベースのメモリをベースとした、独自の自己アテンションインメモリコンピューティングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-09-28T11:00:11Z)
• Perceiving Longer Sequences With Bi-Directional Cross-Attention Transformers [13.480259378415505]
  BiXTは、計算コストとメモリ消費の観点から、入力サイズと線形にスケールする。 BiXTはPerceiverアーキテクチャにインスパイアされているが、反復的な注意を効率よく双方向のクロスアテンションモジュールに置き換える。 効率性とフルトランスフォーマーアーキテクチャの汎用性と性能を組み合わせることで、BiXTはより長いシーケンスを処理できる。
  論文  参考訳（メタデータ） (2024-02-19T13:38:15Z)
• Sparse Attention Acceleration with Synergistic In-Memory Pruning and On-Chip Recomputation [6.303594714446706]
  自己認識機構は、入力シーケンス全体にわたってペアワイズ相関を計測する。 良好な性能にもかかわらず、ペアワイズ相関を計算するのは非常にコストがかかる。 この研究は、注意点を近似的に計算するSPRINTと呼ばれるアクセラレーターを設計することで、これらの制約に対処する。
  論文  参考訳（メタデータ） (2022-09-01T17:18:19Z)
• PSViT: Better Vision Transformer via Token Pooling and Attention Sharing [114.8051035856023]
  トークンプーリングとアテンション共有を併用したPSViTを提案する。 実験の結果,提案手法は画像ネット分類の精度を最大6.6%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-08-07T11:30:54Z)
• XCiT: Cross-Covariance Image Transformers [73.33400159139708]
  本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。 その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2021-06-17T17:33:35Z)
• TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation [77.09542018140823]
  本稿では、カメラ再配置問題に対処するため、グラフトランスフォーマーバックボーン、すなわちTransCamPを用いたニューラルネットワークアプローチを提案する。 TransCamPは、画像の特徴、カメラポーズ情報、フレーム間の相対的なカメラモーションを、エンコードされたグラフ属性に効果的に融合する。
  論文  参考訳（メタデータ） (2021-05-28T19:08:43Z)
• Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers [115.90778814368703]
  目的は,大規模画像とビデオデータセットの言語検索である。 このタスクでは、独立してテキストとビジョンを共同埋め込み空間 a.k.a にマッピングする。 デュアルエンコーダは 検索スケールとして魅力的です 視覚テキスト変換器をクロスアテンションで使用する別のアプローチは、関節埋め込みよりも精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-03-30T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。