論文の概要: MDTransformer: A Hardware-Software Co-Design of Mode-Division Photonic Transformer Accelerator with Inverse-Designed Coherent Crossbar

• arxiv url: http://arxiv.org/abs/2607.26016v1
• Date: Tue, 28 Jul 2026 17:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.949485
• Title: MDTransformer: A Hardware-Software Co-Design of Mode-Division Photonic Transformer Accelerator with Inverse-Designed Coherent Crossbar
• Title（参考訳）: MDTransformer:逆設計コヒーレントクロスバーを用いたモード分割フォトニックトランスのハードウェアソフト共同設計
• Abstract要約: MDTransformer(MDTransformer)は、モード分割光学データフローと演算に基づくPTAのハードウェア・ソフトウェア共同設計である。 これは、サブ4ビット有効精度と-30dB以下のモード間クロストークとのアナログ乗法を提供する。 MDTransformerは40.4%の面積削減、63.6%の省電力、40.6%の省エネ、最先端のPTAよりも同等のレイテンシを実現している。
• 参考スコア（独自算出の注目度）: 2.6502811637365182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, photonic transformer accelerators (PTAs) have successfully achieved significant speedup and energy efficiency improvements over electronic accelerators for expediting Transformer inference. However, state-of-the-art rely on expensive multi-wavelength light generation and large dot-product units due to active phase-shifter components, thus making their approach inefficient and impractical. To address this, we propose MDTransformer, a novel hardware-software co-design of PTA based on mode-division optical dataflow and operations. Specifically, MDTransformer performs complex matrix operations using spatial-mode interference, that leverages the inverse-designed multi-mode couplers, crossings, and Mach-Zehnder IQ modulators into a compact mode-division photonic tensor core (MPTC), capable of executing matrix multiplications in the optical domain. Its each guided mode (i.e., TE0-TE3) acts as an independent computational lane, enabling four-fold parallelism-per-waveguide without spectral filtering or free-spectral-range limitations. Moreover, its coherent detection and IQ modulation jointly encode amplitude and phase, realizing complex-valued arithmetic for full-range operations in transformers. MDTransformer offers analog multiplication with sub-4-bit effective precision and inter-modal crosstalk below -30 dB. Its inverse-designed approach also offers scalable and full compatibility with single-laser continuous-wave operation at 1550 nm. Experimental results show that MDTransformer achieves 40.4% area reduction, 63.6% power saving, 40.6% energy saving, and comparable latency over the state-of-the-art PTA across different workloads (i.e., DeiT-Tiny/Small/Base and BERT-Base/Large). These results show that MDTransformer offers a practical solution for high-performance and energy-efficient transformer-based systems.
• Abstract（参考訳）: 近年,光変圧器加速器 (PTA) は電子加速器の高速化とエネルギー効率の向上に成功している。 しかし、最先端技術は、能動的位相シフト器成分による高価な多波長光発生と大きなドット生成単位に依存しており、そのアプローチは非効率で実用的ではない。 そこで本研究では,モード分割光データフローと演算に基づくPTAのハードウェア・ソフトウェア共同設計であるMDTransformerを提案する。 具体的には、MDTransformerは、逆設計の多モード結合器、交差器、マッハ・ツェンダーIQ変調器を光領域で行列乗算を実行することができるコンパクトモード分割フォトニックテンソルコア(MPTC)に活用する、空間モード干渉を用いた複雑な行列演算を行う。 各誘導モード(TE0-TE3)は独立した計算レーンとして機能し、スペクトルフィルタリングや自由スペクトル範囲の制限なしに4倍の並列化が可能となる。 さらに、そのコヒーレント検出とIQ変調を共同で振幅と位相を符号化し、変圧器のフルレンジ演算のための複素数値演算を実現する。 MDTransformerは、サブ4ビット有効精度と-30dB以下のモード間クロストークとのアナログ乗算を提供する。 逆設計のアプローチは、1550nmでのシングルレーザー連続波演算とのスケーラブルで完全な互換性も提供する。 実験の結果、MDTransformerは40.4%の面積削減、63.6%の省電力、40.6%の省電力、および異なるワークロード(DeiT-Tiny/Small/BaseとBERT-Base/Large)にわたる最先端のPTAに匹敵するレイテンシを達成した。 これらの結果から,MDTransformer は高性能かつエネルギー効率の高い変換器システムに実用的なソリューションを提供することがわかった。

関連論文リスト

• RF-HiT: Rectified Flow Hierarchical Transformer for General Medical Image Segmentation [6.158409051007809]
  本稿では,時間ガラス変換器のバックボーンと,解剖学的に誘導された特徴条件付けのためのマルチスケール階層型エンコーダを一体化したRectified Flow Hierarchical Transformer RF-HiTを提案する。 RF-HiT は ACDC の 91.27%、BraTS 2021 の 87.40% を達成し、より集中的なアーキテクチャに匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2026-04-21T15:24:39Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• A temporal scale transformer framework for precise remaining useful life prediction in fuel cells [10.899223392837936]
  TS Transformer (Temporal Scale Transformer) は、逆変換器(i Transformer)の拡張版である。 各タイムステップを入力トークンとして扱う従来のトランスフォーマーとは異なり、TSTransformerは異なる長さのシーケンスを異なる段階のトークンにマッピングし、シーケンス間モデリングを行う。 局所的な特徴抽出を改善し、時間スケールの特徴を捉え、トークン数と計算コストを削減する。
  論文  参考訳（メタデータ） (2025-04-08T23:42:54Z)
• Performance Characterization of a Multi-Module Quantum Processor with Static Inter-Chip Couplers [63.42120407991982]
  フリップチップボンディングのような3次元統合技術は、大規模超伝導量子プロセッサを実現するための鍵となる前提条件である。 1つのキャリアチップと4つのキュービットモジュールからなるマルチチップモジュールの設計を提案する。 2つのキュービットを測定し,平均3レベル状態割当誤差を200 nsで9倍10～3ドルとした。 ランダム化ベンチマークから抽出した7×10〜3$の誤差で100 nsの制御Z2量子ゲートを実演する。
  論文  参考訳（メタデータ） (2025-03-16T18:32:44Z)
• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)
• Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves [69.9104427437916]
  マルチジェネレータ・ウェーブ・エナジー・コンバータ(WEC)は、スプレッド・ウェーブと呼ばれる異なる方向から来る複数の同時波を処理しなければならない。 これらの複雑な装置は、エネルギー捕獲効率、維持を制限する構造的ストレスの低減、高波に対する積極的な保護という複数の目的を持つコントローラを必要とする。 本稿では,システム力学のシーケンシャルな性質をモデル化する上で,ポリシーと批判ネットワークの異なる機能近似について検討する。
  論文  参考訳（メタデータ） (2024-04-17T02:04:10Z)
• BETA: Binarized Energy-Efficient Transformer Accelerator at the Edge [4.4673463534123234]
  そこで本研究では,QMM実行効率を向上させるために,バイナリトランスフォーマのフロー抽象化手法を開発した。 二項化エネルギー効率変換器加速器、すなわちBETAは、エッジでの効率的な展開を促進するために提案されている。 BETAは174 GOPS/Wの平均エネルギー効率を達成しており、従来のFPGAベースのアクセラレータよりも1.7621.92倍高い。
  論文  参考訳（メタデータ） (2024-01-22T11:14:08Z)
• M3ICRO: Machine Learning-Enabled Compact Photonic Tensor Core based on PRogrammable Multi-Operand Multimode Interference [18.0155410476884]
  標準光学部品に基づく光テンソルコア(PTC)の設計は、空間フットプリントが大きいため、スケーラビリティと計算密度を損なう。 M3ICROというプログラム可能なマルチモード干渉(MOMMI)デバイスを用いた超コンパクトPSCを提案する。 M3ICROは、フットプリントが3.4-9.6倍、1.6-4.4倍、計算密度が10.6-42倍、システムスループットが3.7-12倍、ノイズロバスト性が優れている。
  論文  参考訳（メタデータ） (2023-05-31T02:34:36Z)
• AccelTran: A Sparsity-Aware Accelerator for Dynamic Inference with Transformers [6.0093441900032465]
  自己注意に基づくトランスフォーマーモデルは自然言語処理の分野で大きな成功を収めた。 従来の作業は、ハードウェアの利用を制限する注意操作に関わる大きな行列を直接操作する。 低オーバーヘッドで実行時にアクティベーションを発生させる新しい動的推論スキームDynaTranを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:17:23Z)
• An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers [11.811907838840712]
  一般のN:M空間パターンを利用して, フレキシブルかつ効率的にトランスフォーマーを高速化するアルゴリズム・ハードウェア協調最適化フレームワークを提案する。 我々は、N:Mスパーストランスをデプロイする際の大幅な高速化を実現するために、フレキシブルで効率的なハードウェアアーキテクチャ、すなわちSTAを提案する。 実験の結果, 他の方法と比較して, IDPを用いて生成したN:Mスパース変圧器は, トレーニング効率の高い精度で平均6.7%向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-12T04:51:49Z)
• Multi-Unit Transformers for Neural Machine Translation [51.418245676894465]
  マルチユニット変換器 (MUTE) を提案し, 変換器の表現性を向上する。 具体的には、複数の並列ユニットを使用し、複数のユニットによるモデリングがモデル性能を改善し、多様性を導入することを示す。
  論文  参考訳（メタデータ） (2020-10-21T03:41:49Z)
• Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
  カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。 6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
  論文  参考訳（メタデータ） (2020-07-13T09:19:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。