論文の概要: Optical multi-task learning using multi-wavelength diffractive deep neural networks

• arxiv url: http://arxiv.org/abs/2212.00022v1
• Date: Wed, 30 Nov 2022 14:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 17:26:05.141173
• Title: Optical multi-task learning using multi-wavelength diffractive deep neural networks
• Title（参考訳）: 多波長回折深層ニューラルネットワークを用いた光マルチタスク学習
• Authors: Zhengyang Duan, Hang Chen, Xing Lin
• Abstract要約: フォトニックニューラルネットワークは、電子の代わりに光子を使って脳にインスパイアされた情報処理技術である。 既存のアーキテクチャは単一のタスク用に設計されているが、単一のモノリシックシステム内で異なるタスクを並列に多重化できない。 本稿では,多波長拡散型深層ニューラルネットワーク(D2NN)を共同最適化法により設計し,新しいマルチタスク学習システムを提案する。
• 参考スコア（独自算出の注目度）: 8.543496127018567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Photonic neural networks are brain-inspired information processing technology using photons instead of electrons to perform artificial intelligence (AI) tasks. However, existing architectures are designed for a single task but fail to multiplex different tasks in parallel within a single monolithic system due to the task competition that deteriorates the model performance. This paper proposes a novel optical multi-task learning system by designing multi-wavelength diffractive deep neural networks (D2NNs) with the joint optimization method. By encoding multi-task inputs into multi-wavelength channels, the system can increase the computing throughput and significantly alle-viate the competition to perform multiple tasks in parallel with high accuracy. We design the two-task and four-task D2NNs with two and four spectral channels, respectively, for classifying different inputs from MNIST, FMNIST, KMNIST, and EMNIST databases. The numerical evaluations demonstrate that, under the same network size, mul-ti-wavelength D2NNs achieve significantly higher classification accuracies for multi-task learning than single-wavelength D2NNs. Furthermore, by increasing the network size, the multi-wavelength D2NNs for simultaneously performing multiple tasks achieve comparable classification accuracies with respect to the individual training of multiple single-wavelength D2NNs to perform tasks separately. Our work paves the way for developing the wave-length-division multiplexing technology to achieve high-throughput neuromorphic photonic computing and more general AI systems to perform multiple tasks in parallel.
• Abstract（参考訳）: フォトニックニューラルネットワーク(英: Photonic Neural Network)は、人工知能(AI)タスクを実行するために電子の代わりに光子を用いて脳にインスパイアされた情報処理技術である。 しかしながら、既存のアーキテクチャは単一のタスク用に設計されているが、モデルパフォーマンスを低下させるタスク競合のため、単一のモノリシックシステム内で異なるタスクを並列に多重化できない。 本稿では,多波長回折深層ニューラルネットワーク(d2nns)を共同で設計し,新しい光マルチタスク学習システムを提案する。 マルチタスク入力をマルチ波長チャネルにエンコードすることで、計算スループットを高め、高い精度で複数のタスクを並行して実行する競合を著しく軽減することができる。 我々は、MNIST、FMNIST、KMNIST、EMNISTデータベースから異なる入力を分類するために、2つのスペクトルチャネルを持つ2タスクD2NNと4タスクD2NNをそれぞれ設計する。 数値評価の結果,mul-ti 波長 d2nn は単波長 d2nn よりも,マルチタスク学習の分類精度が有意に高いことがわかった。 さらに、ネットワークサイズを増加させることで、複数のタスクを同時に実行するマルチ波長d2nnは、複数のシングル波長d2nnの個別トレーニングに対して同等の分類精度を達成し、タスクを別々に実行する。 我々の研究は、高スループットニューロモルフィックフォトニックコンピューティングとより一般的なAIシステムを実現するために、波長分割多重化技術を開発するための道を開いた。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Fast GraspNeXt: A Fast Self-Attention Neural Network Architecture for Multi-task Learning in Computer Vision Tasks for Robotic Grasping on the Edge [80.88063189896718]
  アーキテクチャと計算の複雑さが高いと、組み込みデバイスへのデプロイに適さない。 Fast GraspNeXtは、ロボットグルーピングのためのコンピュータビジョンタスクに埋め込まれたマルチタスク学習に適した、高速な自己認識型ニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2023-04-21T18:07:14Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• DeepSeq: Deep Sequential Circuit Learning [10.402436619244911]
  回路表現学習は電子設計自動化(EDA)分野における有望な研究方向である。 既存のソリューションは組合せ回路のみをターゲットにしており、その応用は著しく制限されている。 シーケンシャルネットリストのための新しい表現学習フレームワークであるDeepSeqを提案する。
  論文  参考訳（メタデータ） (2023-02-27T09:17:35Z)
• L-HYDRA: Multi-Head Physics-Informed Neural Networks [0.0]
  我々は、マルチタスク学習(MTL)、生成モデリング、少数ショット学習のための強力なツールとして、マルチヘッド物理情報ニューラルネットワーク(MH-PINN)を構築した。 MH-PINNは、ヘッドの共有分布と同様に、基本関数として、共有体を介して複数の機能/タスクを接続する。 5つのベンチマークでMH-PINNの有効性を実証し,回帰分析における相乗的学習の可能性についても検討した。
  論文  参考訳（メタデータ） (2023-01-05T16:54:01Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• MT-SNN: Spiking Neural Network that Enables Single-Tasking of Multiple Tasks [0.0]
  マルチタスクスパイクニューラルネットワーク(MT-SNN)を実装し、同時に2つ以上の分類タスクを学習し、同時に1つのタスクを実行する。 このネットワークは、Loihi2ニューロモルフィックチップ用のIntelのLavaプラットフォームを使って実装されている。
  論文  参考訳（メタデータ） (2022-08-02T15:17:07Z)
• Real-time Multi-Task Diffractive Deep Neural Networks via Hardware-Software Co-design [1.6066483376871004]
  本研究は,d$2$nnsでロバストかつノイズ耐性のあるマルチタスク学習を実現する,新しいハードウェアソフトウェア共同設計手法を提案する。 私たちの実験結果は、汎用性とハードウェア効率の大幅な改善を示し、提案されたマルチタスクD$2$NNアーキテクチャの堅牢性を実証します。
  論文  参考訳（メタデータ） (2020-12-16T12:29:54Z)
• Deep Multimodal Neural Architecture Search [178.35131768344246]
  様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。 マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。 統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
  論文  参考訳（メタデータ） (2020-04-25T07:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。