論文の概要: Neural Tangent Knowledge Distillation for Optical Convolutional Networks

• arxiv url: http://arxiv.org/abs/2508.08421v1
• Date: Mon, 11 Aug 2025 19:15:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.213236
• Title: Neural Tangent Knowledge Distillation for Optical Convolutional Networks
• Title（参考訳）: 光畳み込みネットワークのためのニューラルネットワークによる知識蒸留
• Authors: Jinlin Xiang, Minho Choi, Yubo Zhang, Zhihao Zhou, Arka Majumdar, Eli Shlizerman,
• Abstract要約: ハイブリッド・オプティカル・ニューラル・ネットワーク(ONN)は、リアルタイム・電力制約システムのための完全なデジタルディープ・ネットワークに代わるエネルギー効率の高い代替手段を提供する。 それらの採用は、トレーニング中の大規模ネットワークと比較して精度のギャップが小さいこと、シミュレートされたシステムと製造されたシステムの相違、という2つの主な課題によって制限されている。 本稿では,様々な光学系にまたがる画像分類とセグメンテーションを支援するタスク非依存かつハードウェア非依存のパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 8.526823315100764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid Optical Neural Networks (ONNs, typically consisting of an optical frontend and a digital backend) offer an energy-efficient alternative to fully digital deep networks for real-time, power-constrained systems. However, their adoption is limited by two main challenges: the accuracy gap compared to large-scale networks during training, and discrepancies between simulated and fabricated systems that further degrade accuracy. While previous work has proposed end-to-end optimizations for specific datasets (e.g., MNIST) and optical systems, these approaches typically lack generalization across tasks and hardware designs. To address these limitations, we propose a task-agnostic and hardware-agnostic pipeline that supports image classification and segmentation across diverse optical systems. To assist optical system design before training, we estimate achievable model accuracy based on user-specified constraints such as physical size and the dataset. For training, we introduce Neural Tangent Knowledge Distillation (NTKD), which aligns optical models with electronic teacher networks, thereby narrowing the accuracy gap. After fabrication, NTKD also guides fine-tuning of the digital backend to compensate for implementation errors. Experiments on multiple datasets (e.g., MNIST, CIFAR, Carvana Masking) and hardware configurations show that our pipeline consistently improves ONN performance and enables practical deployment in both pre-fabrication simulations and physical implementations.
• Abstract（参考訳）: ハイブリッド・オプティカル・ニューラル・ネットワーク(ONN)は、主に光学フロントエンドとデジタルバックエンドから構成される)は、リアルタイムの電力制約システムのための完全なデジタルディープ・ネットワークに代わるエネルギー効率の良い代替手段を提供する。 しかし、それらの採用は、トレーニング中の大規模ネットワークと比較して精度のギャップが小さいこと、さらに精度を低下させるシミュレートされたシステムと製造されたシステムの相違という2つの主な課題によって制限されている。 以前の研究では、特定のデータセット(例えばMNIST)と光学系のエンドツーエンドの最適化が提案されていたが、これらのアプローチは一般にタスクやハードウェア設計の一般化を欠いている。 これらの制約に対処するため,様々な光学系における画像分類とセグメンテーションをサポートするタスク非依存かつハードウェア非依存のパイプラインを提案する。 トレーニング前の光学系設計を支援するため,物理サイズやデータセットなどのユーザ指定制約に基づいて,達成可能なモデルの精度を推定する。 トレーニングでは,光学モデルと電子教師ネットワークを連携させて精度のギャップを狭めるニューラルタンジェント知識蒸留(NTKD)を導入する。 製造後、NTKDは実装エラーを補うためにデジタルバックエンドの微調整もガイドする。 複数のデータセット(例えば、MNIST、CIFAR、Carvana Masking、Carvana Masking)とハードウェア構成の実験は、パイプラインが一貫してONN性能を改善し、プレファブリケーションシミュレーションと物理実装の両方に実用的なデプロイを可能にすることを示している。

関連論文リスト

• In situ fine-tuning of in silico trained Optical Neural Networks [0.4374837991804086]
  光学ニューラルネットワーク(ONN)のトレーニングは、特にシリコモデルにおける単純化への依存など、ユニークな課題を提起する。 本稿では,サイリコ訓練におけるノイズの特定がONN性能に与える影響を解析する。 本稿では、この性能劣化を軽減するために設計された軽量アルゴリズム、Gradient-Informed Fine-Tuning(GIFT)を紹介する。
  論文  参考訳（メタデータ） (2025-06-27T11:00:36Z)
• Nonlinear Computation with Linear Optics via Source-Position Encoding [0.0]
  完全線形媒体における非線形計算を実現するための新しい手法を提案する。 本手法は低消費電力で動作可能であり,光システムをデータ依存空間位置で駆動する機能のみを必要とする。 我々は、高度に専門化された光学ニューラルネットワークのための、完全に自動化されたトポロジ最適化ベースのハードウェア設計フレームワークを定式化する。
  論文  参考訳（メタデータ） (2025-04-29T03:55:05Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Physics-aware Differentiable Discrete Codesign for Diffractive Optical Neural Networks [12.952987240366781]
  本研究は,Diffractive Optical Neural Network (DONN) の効率的なトレーニングを可能にする,新しいデバイス間ハードウェア・ソフトウェア符号フレームワークを提案する。 Gumbel-Softmaxは、現実世界のデバイスパラメータからDONNの前方関数への微分可能な離散マッピングを可能にするために使用される。 その結果,提案手法は従来の量子化法に比べて大きな利点があることがわかった。
  論文  参考訳（メタデータ） (2022-09-28T17:13:28Z)
• Single-Shot Optical Neural Network [55.41644538483948]
  深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。 我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
  論文  参考訳（メタデータ） (2022-05-18T17:49:49Z)
• Accelerating deep neural networks for efficient scene understanding in automotive cyber-physical systems [2.4373900721120285]
  自動車のCyber-Physical Systems(ACPS)はここ数十年でかなりの関心を集めている。 これらのシステムにおける最も重要な操作の1つは、環境に対する認識である。 ディープラーニングと、特にDeep Neural Networks(DNN)の使用は、視覚データから複雑でダイナミックなシーンを分析し、理解するための素晴らしい結果をもたらす。
  論文  参考訳（メタデータ） (2021-07-19T18:43:17Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。