Fugu-MT 論文翻訳(概要): Light-in-the-loop: using a photonics co-processor for scalable training of neural networks

論文の概要: Light-in-the-loop: using a photonics co-processor for scalable training of neural networks

arxiv url: http://arxiv.org/abs/2006.01475v2
Date: Wed, 3 Jun 2020 14:42:49 GMT
ステータス: 処理完了
システム内更新日: 2022-11-25 23:53:32.013489
Title: Light-in-the-loop: using a photonics co-processor for scalable training of neural networks
Title（参考訳）: 光インザループ:ニューラルネットワークのスケーラブルなトレーニングのためのフォトニクスコプロセッサ
Authors: Julien Launay, Iacopo Poli, Kilian M\"uller, Igor Carron, Laurent Daudet, Florent Krzakala, Sylvain Gigan
Abstract要約: 本稿では,デジタル実装ニューラルネットワークのトレーニングフェーズを高速化する最初の光コプロセッサを提案する。我々は、手書き桁認識のためのニューラルネットワークのトレーニングに使用していることを実証する。
参考スコア（独自算出の注目度）: 21.153688679957337
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As neural networks grow larger and more complex and data-hungry, training costs are skyrocketing. Especially when lifelong learning is necessary, such as in recommender systems or self-driving cars, this might soon become unsustainable. In this study, we present the first optical co-processor able to accelerate the training phase of digitally-implemented neural networks. We rely on direct feedback alignment as an alternative to backpropagation, and perform the error projection step optically. Leveraging the optical random projections delivered by our co-processor, we demonstrate its use to train a neural network for handwritten digits recognition.
Abstract（参考訳）: ニューラルネットワークがますます大きくなり、複雑でデータ量が多くなるにつれて、トレーニングコストは急上昇している。特にリコメンデータシステムや自動運転車のような生涯学習が必要な場合、これはすぐに持続不可能になるかもしれない。本研究では,デジタル実装ニューラルネットワークの学習フェーズを高速化できる最初の光コプロセッサを提案する。バックプロパゲーションの代替として直接フィードバックアライメントを頼りに、エラープロジェクションステップを光学的に実行します。共プロセッサによる光学的ランダムプロジェクションを活用することで、手書き桁認識のためのニューラルネットワークのトレーニングを実演する。

関連論文リスト

Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
論文参考訳（メタデータ） (2024-09-01T12:48:47Z)
Genetically programmable optical random neural networks [0.0]
遺伝的にプログラム可能であるが、光学的ランダムプロジェクションによる高性能を実現するための単純な光学ニューラルネットワークを実証する。ランダムプロジェクションカーネルとして機能する散乱媒質の配向を遺伝的にプログラミングすることにより,本手法は最適なカーネルを発見し,初期試験精度を7-22%向上させる。提案手法は,シンプルでスケーラブルな設計で,光ニューラルネットワークの高性能化を実現するための有望な手法である。
論文参考訳（メタデータ） (2024-03-19T06:55:59Z)
Design and development of opto-neural processors for simulation of neural networks trained in image detection for potential implementation in hybrid robotics [0.0]
リビングニューラルネットワークは、消費電力の低減、処理の高速化、生物学的リアリズムの利点を提供する。本研究は,オプトジェネティクスによる精密アクティベーションを用いたSTDPベースのアルゴリズムを逆伝播させることにより,間接的に訓練されたシミュレーション型生きたニューラルネットワークを提案する。
論文参考訳（メタデータ） (2024-01-17T04:42:49Z)
Training neural networks with end-to-end optical backpropagation [1.1602089225841632]
光プロセスを用いてニューラルネットワークをトレーニングするアルゴリズムであるバックプロパゲーションの実装方法を示す。我々のアプローチは、様々なアナログプラットフォーム、材料、ネットワーク構造に適用可能である。これは、トレーニングタスクと推論タスクの両方において、アナログ光学プロセスに完全に依存するニューラルネットワークを構築する可能性を示している。
論文参考訳（メタデータ） (2023-08-09T21:11:26Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks [0.7627023515997987]
私たちは、カスタムデザインの「フォトニックメッシュ」アクセラレーターをカスケードする、大量製造可能なシリコンフォトニックニューラルネットワークを設計します。 In situ backproagation を初めて示し、分類課題を解く。本研究は、フォトニクス加速人工知能の新しいトレーニングパラダイムを、一般的なバックプロパゲーション手法の物理的類似に基づいて提案するものであることを示唆する。
論文参考訳（メタデータ） (2022-05-17T17:13:50Z)
A photonic chip-based machine learning approach for the prediction of molecular properties [11.55177943027656]
フォトニックチップ技術は、より高速なデータ処理と低エネルギー使用量でニューラルネットワークを実装するための代替プラットフォームを提供する。分子の量子力学特性の予測におけるフォトニックニューラルネットワークの有用性を実証する。我々の研究は、分子科学における大規模機械学習応用にフォトニック技術を活用するための道を開く。
論文参考訳（メタデータ） (2022-03-03T03:15:14Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。