論文の概要: MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition

• arxiv url: http://arxiv.org/abs/2312.02829v1
• Date: Tue, 5 Dec 2023 15:25:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 15:22:51.834084
• Title: MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition
• Title（参考訳）: MIMONets: 重ね合わせ計算を行う複数入出力ニューラルネットワーク
• Authors: Nicolas Menet (1 and 2), Michael Hersche (1 and 2), Geethan Karunaratne (1), Luca Benini (2), Abu Sebastian (1), Abbas Rahimi (1) ((1) IBM Research - Zurich, (2) ETH Zurich)
• Abstract要約: 本稿では,複数の入力を同時に処理できるマルチインプット・マルチプル・アウトプットニューラルネットワーク(MIMONets)を提案する。 MIMONetsは非線形ニューラルトランスフォーメーションを適用してデータ構造を均等に処理し、重畳された入力項目の数にほぼ比例するスピードアップをもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of deep learning, progressively larger neural networks have been designed to solve complex tasks. We take advantage of these capacity-rich models to lower the cost of inference by exploiting computation in superposition. To reduce the computational burden per input, we propose Multiple-Input-Multiple-Output Neural Networks (MIMONets) capable of handling many inputs at once. MIMONets augment various deep neural network architectures with variable binding mechanisms to represent an arbitrary number of inputs in a compositional data structure via fixed-width distributed representations. Accordingly, MIMONets adapt nonlinear neural transformations to process the data structure holistically, leading to a speedup nearly proportional to the number of superposed input items in the data structure. After processing in superposition, an unbinding mechanism recovers each transformed input of interest. MIMONets also provide a dynamic trade-off between accuracy and throughput by an instantaneous on-demand switching between a set of accuracy-throughput operating points, yet within a single set of fixed parameters. We apply the concept of MIMONets to both CNN and Transformer architectures resulting in MIMOConv and MIMOFormer, respectively. Empirical evaluations show that MIMOConv achieves about 2-4 x speedup at an accuracy delta within [+0.68, -3.18]% compared to WideResNet CNNs on CIFAR10 and CIFAR100. Similarly, MIMOFormer can handle 2-4 inputs at once while maintaining a high average accuracy within a [-1.07, -3.43]% delta on the long range arena benchmark. Finally, we provide mathematical bounds on the interference between superposition channels in MIMOFormer. Our code is available at https://github.com/IBM/multiple-input-multiple-output-nets.
• Abstract（参考訳）: ディープラーニングの出現により、複雑なタスクを解決するために、徐々に大きなニューラルネットワークが設計された。 これらのキャパシティリッチモデルを利用して,重ね合わせ計算を活用し,推論コストを下げる。 入力当たりの計算負担を軽減するため,複数の入力を同時に処理できるマルチ入力出力ニューラルネットワーク(MIMONets)を提案する。 MIMONetsは、可変バインディング機構で様々なディープニューラルネットワークアーキテクチャを拡張し、固定幅分散表現を介して構成データ構造内の任意の数の入力を表現する。 そのため、MIMONetsは非線形ニューラルトランスフォーメーションを適用してデータ構造を均等に処理し、データ構造内の重畳された入力項目の数にほぼ比例するスピードアップをもたらす。 重ね合わせ処理後、非結合機構は各変換された興味の入力を回復する。 MIMONetsはまた、精度とスループットのダイナミックなトレードオフとして、精度を出力する操作ポイントのセット間の即時的なオンデマンドスイッチを、固定パラメータのセット内で提供する。 我々はMIMONetsの概念をCNNとTransformerアーキテクチャの両方に適用し、MIMOConvとMIMOFormerをそれぞれ実現した。 MIMOConv は CIFAR10 および CIFAR100 上の WideResNet CNN と比較して, [+0.68, -3.18] の精度差で約 2-4 倍のスピードアップを達成した。 同様に、MIMOFormerは、[-1.07, -3.43]% デルタの範囲内で高い平均精度を維持しながら、一度に2-4入力を処理できる。 最後に、mimoformer内の重ね合わせチャネル間の干渉に関する数学的境界を与える。 私たちのコードはhttps://github.com/IBM/multiple-input-multiple-output-netsで利用可能です。

関連論文リスト

• SplitBeam: Effective and Efficient Beamforming in Wi-Fi Networks Through Split Computing [12.574388457311809]
  SplitBeamは、分割ディープニューラルネットワーク(DNN)をトレーニングして、ビームフォーミングマトリックスを直接入力として出力する、新しいフレームワークである。 我々は,アプリケーション要件以下で計算,空調オーバーヘッド,ビット誤り率(BER)を維持するために,ボトルネック最適化問題(BOP)を定式化し,解決する。 実験の結果, SplitBeamは, BERを約10～3のアプローチで維持しながら, ビームフォーミングフィードバックサイズと計算複雑性を最大81%, 84%削減できることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T18:29:21Z)
• Deformable Mixer Transformer with Gating for Multi-Task Learning of Dense Prediction [126.34551436845133]
  CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。 本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense Prediction [40.447092963041236]
  変形可能なCNNとクエリベースのTransformerの利点を組み合わせた新しいMTLモデルを提案する。 提案手法は, 単純かつ効率的なエンコーダ・デコーダアーキテクチャに基づいている。 我々のモデルはGFLOPを少なくし、現在のTransformerやCNNベースの競合モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-01-09T16:00:15Z)
• DataMUX: Data Multiplexing for Neural Networks [26.69850176244439]
  データ多重化(DataMUX)は、ディープニューラルネットワークが複数の入力を同時に処理できるようにする技術である。 DataMUXは、ニューラルネットワークが入力の混合よりも正確な予測を生成することができることを示した。
  論文  参考訳（メタデータ） (2022-02-18T17:35:33Z)
• Simultaneously Predicting Multiple Plant Traits from Multiple Sensors via Deformable CNN Regression [0.0]
  植物栽培と農業生産のパイプラインにとって、交通量測定は重要である。 我々は、複数のセンサ入力を受け入れ、複数の連続特性出力を予測する比較的単純な畳み込みニューラルネットワーク(CNN)モデルを導入する。
  論文  参考訳（メタデータ） (2021-12-06T18:00:28Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Machine Learning for MU-MIMO Receive Processing in OFDM Systems [14.118477167150143]
  従来の線形最小平均二乗誤差(LMMSE)アーキテクチャ上に構築したML強化MU-MIMO受信機を提案する。 cnnはチャネル推定誤差の2次統計量の近似を計算するために用いられる。 CNNベースのデマッパーは、多数の周波数分割多重記号とサブキャリアを共同で処理する。
  論文  参考訳（メタデータ） (2020-12-15T09:55:37Z)
• End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
  音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。 また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
  論文  参考訳（メタデータ） (2020-02-10T16:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。