論文の概要: The Impact of Feature Representation on the Accuracy of Photonic Neural Networks
- arxiv url: http://arxiv.org/abs/2406.18757v2
- Date: Fri, 28 Jun 2024 17:12:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 10:50:27.724174
- Title: The Impact of Feature Representation on the Accuracy of Photonic Neural Networks
- Title（参考訳）: 特徴表現がフォトニックニューラルネットワークの精度に及ぼす影響
- Authors: Mauricio Gomes de Queiroz, Paul Jimenez, Raphael Cardoso, Mateus Vidaletti Costa, Mohab Abdalla, Ian O'Connor, Alberto Bosio, Fabio Pavanello,
- Abstract要約: フォトニックニューラルネットワーク(PNN)は、高並列化、低レイテンシ、エネルギー効率といった可能性から、研究コミュニティにおいて大きな関心を集めている。
複数の特徴を1つの入力に組み合わせることで、入力や関連機器の数を減らし、より小さくエネルギー効率のよいPNNを生み出すことが一般的である。
本稿では,PNNの性能と学習能力に共通する特徴を組み合わせた符号化手法について検討する。
- 参考スコア（独自算出の注目度）: 0.037642311896327864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photonic Neural Networks (PNNs) are gaining significant interest in the research community due to their potential for high parallelization, low latency, and energy efficiency. PNNs compute using light, which leads to several differences in implementation when compared to electronics, such as the need to represent input features in the photonic domain before feeding them into the network. In this encoding process, it is common to combine multiple features into a single input to reduce the number of inputs and associated devices, leading to smaller and more energy-efficient PNNs. Although this alters the network's handling of input data, its impact on PNNs remains understudied. This paper addresses this open question, investigating the effect of commonly used encoding strategies that combine features on the performance and learning capabilities of PNNs. Here, using the concept of feature importance, we develop a mathematical methodology for analyzing feature combination. Through this methodology, we demonstrate that encoding multiple features together in a single input determines their relative importance, thus limiting the network's ability to learn from the data. Given some prior knowledge of the data, however, this can also be leveraged for higher accuracy. By selecting an optimal encoding method, we achieve up to a 12.3% improvement in accuracy of PNNs trained on the Iris dataset compared to other encoding techniques, surpassing the performance of networks where features are not combined. These findings highlight the importance of carefully choosing the encoding to the accuracy and decision-making strategies of PNNs, particularly in size or power constrained applications.
- Abstract（参考訳）: フォトニックニューラルネットワーク(PNN)は、高並列化、低レイテンシ、エネルギー効率といった可能性から、研究コミュニティにおいて大きな関心を集めている。
PNNは光を用いて計算し、電子回路と比較して実装にいくつかの違いをもたらす。
この符号化プロセスでは、複数の特徴を単一の入力に組み合わせて入力や関連機器の数を減らし、より小さくエネルギー効率の良いPNNを生み出すことが一般的である。
これにより入力データの処理が変更されるが、PNNへの影響は未検討のままである。
本稿では、PNNの性能と学習能力に共通して用いられる符号化戦略が及ぼす影響について考察する。
ここでは,特徴の重要度の概念を用いて,特徴の組み合わせを解析するための数学的方法論を開発する。
この手法により、複数の特徴を1つの入力にまとめて符号化することで、相対的な重要性が決定され、データから学習するネットワークの能力が制限されることを示す。
しかし、データに関するいくつかの事前の知識を考えると、高い精度で利用することもできる。
最適な符号化手法を選択することで、IrisデータセットでトレーニングされたPNNの精度を12.3%向上させ、特徴が組み合わさらないネットワークの性能を上回ります。
これらの知見は、特にサイズや電力制約のあるアプリケーションにおいて、PNNの精度と意思決定戦略に対するエンコーディングを慎重に選択することの重要性を強調している。
関連論文リスト
- Spectral Informed Neural Network: An Efficient and Low-Memory PINN [3.8534287291074354]
本稿では、微分演算子を乗法で置き換えるスペクトルベースニューラルネットワークを提案する。
PINNと比較して、我々のアプローチはメモリの削減とトレーニング時間の短縮を必要とする。
我々は、スペクトル情報を用いてネットワークを訓練する2つの戦略を提供する。
論文 参考訳（メタデータ） (2024-08-29T10:21:00Z) - Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。
動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。
以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文 参考訳（メタデータ） (2024-08-08T16:48:33Z) - Minimum Description Feature Selection for Complexity Reduction in Machine Learning-based Wireless Positioning [20.53418520833158]
深層学習に基づくWPの複雑さを大幅に軽減するために,最小記述機能を利用した新しい位置決めニューラルネットワーク(P-NN)を設計する。
スパース画像と測定行列の2種類の入力をインテリジェントに処理することで,P-NNの学習能力を向上させる。
数値計算の結果,P-NNは深層学習ベースラインに対する性能・複雑性トレードオフにおいて大きな優位性を示す。
論文 参考訳（メタデータ） (2024-04-21T21:47:54Z) - Parallel Proportional Fusion of Spiking Quantum Neural Network for Optimizing Image Classification [10.069224006497162]
量子・スパイキングニューラルネットワーク(PPF-QSNN)の並列比例融合(Parallel Proportional Fusion of Quantum and Spiking Neural Networks)と呼ばれる新しいアーキテクチャを導入する。
提案したPPF-QSNNは、既存のスパイクニューラルネットワークと、精度、損失、ロバストネスといったメトリクスにわたるシリアル量子ニューラルネットワークの両方より優れている。
本研究は、人工知能計算における量子優位性の発展と応用の基盤となるものである。
論文 参考訳（メタデータ） (2024-04-01T10:35:35Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Learnability and Robustness of Shallow Neural Networks Learned With a
Performance-Driven BP and a Variant PSO For Edge Decision-Making [6.011027400738812]
エッジデバイスに複雑なAIモデルを実装するのは容易ではないかもしれない。
普遍近似定理(Universal Approximation Theorem)は、浅いニューラルネットワーク(SNN)が任意の非線形関数を表現できると述べている。
SNNの学習可能性と堅牢性を検討するために,2つの実験群が実施された。
論文 参考訳（メタデータ） (2020-08-13T23:33:00Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Constructing Deep Neural Networks with a Priori Knowledge of Wireless
Tasks [37.060397377445504]
無線タスクに広く存在する2種類の置換不変性は、モデルパラメータの数を減らすために利用することができる。
可変DNN (permutation invariant DNN) と呼ばれる特性を満たす入出力関係を持つDNNの特殊構造を求める。
予測資源配分と干渉調整を例として,教師なし・教師なし学習による最適政策学習にPINNをいかに活用できるかを示す。
論文 参考訳（メタデータ） (2020-01-29T08:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。