論文の概要: What Is Next for LLMs? Next-Generation AI Computing Hardware Using Photonic Chips

• arxiv url: http://arxiv.org/abs/2505.05794v1
• Date: Fri, 09 May 2025 05:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.158265
• Title: What Is Next for LLMs? Next-Generation AI Computing Hardware Using Photonic Chips
• Title（参考訳）: LLMの次は?フォトニックチップを用いた次世代AIコンピューティングハードウェア
• Authors: Renjie Li, Wenjie Wei, Qi Xin, Xiaoli Liu, Sixuan Mao, Erik Ma, Zijian Chen, Malu Zhang, Haizhou Li, Zhaoyu Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、現代のコンピューティングハードウェアの限界を急速に押し上げている。 このレビューでは、次世代世代AIコンピューティングに最適化された新興フォトニックハードウェアについて調査する。
• 参考スコア（独自算出の注目度）: 34.52960723566363
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are rapidly pushing the limits of contemporary computing hardware. For example, training GPT-3 has been estimated to consume around 1300 MWh of electricity, and projections suggest future models may require city-scale (gigawatt) power budgets. These demands motivate exploration of computing paradigms beyond conventional von Neumann architectures. This review surveys emerging photonic hardware optimized for next-generation generative AI computing. We discuss integrated photonic neural network architectures (e.g., Mach-Zehnder interferometer meshes, lasers, wavelength-multiplexed microring resonators) that perform ultrafast matrix operations. We also examine promising alternative neuromorphic devices, including spiking neural network circuits and hybrid spintronic-photonic synapses, which combine memory and processing. The integration of two-dimensional materials (graphene, TMDCs) into silicon photonic platforms is reviewed for tunable modulators and on-chip synaptic elements. Transformer-based LLM architectures (self-attention and feed-forward layers) are analyzed in this context, identifying strategies and challenges for mapping dynamic matrix multiplications onto these novel hardware substrates. We then dissect the mechanisms of mainstream LLMs, such as ChatGPT, DeepSeek, and LLaMA, highlighting their architectural similarities and differences. We synthesize state-of-the-art components, algorithms, and integration methods, highlighting key advances and open issues in scaling such systems to mega-sized LLM models. We find that photonic computing systems could potentially surpass electronic processors by orders of magnitude in throughput and energy efficiency, but require breakthroughs in memory, especially for long-context windows and long token sequences, and in storage of ultra-large datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現代のコンピューティングハードウェアの限界を急速に押し上げている。 例えば、GPT-3の訓練は1300MWhの電力を消費すると推定されており、将来のモデルは都市規模(ギガワット)の電力予算を必要とする可能性があると予測されている。 これらの要求は、従来のフォン・ノイマンアーキテクチャを超える計算パラダイムの探索を動機付けている。 このレビューでは、次世代世代AIコンピューティングに最適化された新興フォトニックハードウェアについて調査する。 超高速マトリクス操作を行うフォトニックニューラルネットワークアーキテクチャ(例えば、マッハ・ツェンダー干渉計メッシュ、レーザー、波長多重化マイクロリング共振器)について論じる。 また、スパイクニューラルネットワーク回路や、メモリと処理を組み合わせたハイブリッドスピントロニクス-フォトニックシナプスなど、有望な代替のニューロモルフィックデバイスについても検討する。 シリコンフォトニックプラットフォームへの2次元材料(グラフェン, TMDC)の統合について, 調整可能な変調素子およびオンチップシナプス素子について検討した。 トランスフォーマーベースのLCMアーキテクチャ(自己注意層とフィードフォワード層)をこの文脈で解析し、これらの新しいハードウェア基板上に動的行列乗算をマッピングするための戦略と課題を特定する。 次に、ChatGPT、DeepSeek、LLaMAといった主要なLLMのメカニズムを解明し、アーキテクチャ上の類似点と相違点を強調します。 我々は、最先端のコンポーネント、アルゴリズム、統合手法を合成し、そのようなシステムを大規模LLMモデルにスケールする際の重要な進歩とオープンな課題を強調した。 フォトニックコンピューティングシステムは、スループットとエネルギー効率の桁違いに電子プロセッサを超える可能性があるが、特に長いコンテキストウィンドウや長いトークンシーケンス、超大規模データセットの保存において、メモリのブレークスルーを必要としている。

関連論文リスト

• A Hardware-Efficient Photonic Tensor Core: Accelerating Deep Neural Networks with Structured Compression [15.665630650382226]
  AIとディープニューラルネットワーク(DNN)は多くの分野に革命をもたらし、大規模なデータセットから複雑な特徴を抽出することで複雑なタスクを可能にした。 光コンピューティングは、並列性、高い計算速度、低消費電力という固有の利点のために、有望な代替手段を提供する。 構造圧縮型光ニューラルネットワーク(StrC-ONN)アーキテクチャのためのブロック循環型フォトニックテンソルコア(CirPTC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T17:03:45Z)
• Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference [2.9302211589186244]
  大規模言語モデル(LLM)は自然言語処理を変換し、機械が人間のようなテキストを生成し、意味のある会話を行うことを可能にする。 計算と記憶能力の発達はムーアの法則の廃止によってさらに悪化している。 コンピュート・イン・メモリ(CIM)技術は、メモリ内でアナログ計算を直接実行することにより、AI推論を加速するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-12T16:57:58Z)
• Meent: Differentiable Electromagnetic Simulator for Machine Learning [0.6902278820907753]
  電磁法(EM)シミュレーションは、サブ波長スケール構造を持つデバイスを解析・設計する上で重要な役割を担っている。 Meentは、厳密な結合波解析(RCWA)を利用するEMシミュレーションソフトウェアである。 1) ニューラル演算子のトレーニングのためのデータセット生成,2) ナノフォトニックデバイス最適化の強化学習環境として機能する,3) 勾配に基づく逆問題に対する解を提供する,の3つの応用を提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:00:06Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Reservoir Computing with Magnetic Thin Films [35.32223849309764]
  新しい非伝統的なコンピューティングハードウェアは、自然現象を利用して効率を上げる可能性を秘めている。 物理貯水池計算は、様々な非伝統的なシステムでこれを実証している。 マイクロスケールシミュレーションにより薄膜の3つの磁性体を初期探査する。
  論文  参考訳（メタデータ） (2021-01-29T17:37:17Z)
• Photonics for artificial intelligence and neuromorphic computing [52.77024349608834]
  フォトニック集積回路は超高速な人工ニューラルネットワークを可能にした。 フォトニックニューロモルフィックシステムはナノ秒以下のレイテンシを提供する。 これらのシステムは、機械学習と人工知能の需要の増加に対応する可能性がある。
  論文  参考訳（メタデータ） (2020-10-30T21:41:44Z)
• Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
  集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。 このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。 線形光ネットワークの転送行列を再構成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:04:22Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。