論文の概要: DataMUX: Data Multiplexing for Neural Networks

• arxiv url: http://arxiv.org/abs/2202.09318v1
• Date: Fri, 18 Feb 2022 17:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 13:01:30.497077
• Title: DataMUX: Data Multiplexing for Neural Networks
• Title（参考訳）: DataMUX: ニューラルネットワークのためのデータ多重化
• Authors: Vishvak Murahari, Carlos E. Jimenez, Runzhe Yang, Karthik Narasimhan
• Abstract要約: データ多重化(DataMUX)は、ディープニューラルネットワークが複数の入力を同時に処理できるようにする技術である。 DataMUXは、ニューラルネットワークが入力の混合よりも正確な予測を生成することができることを示した。
• 参考スコア（独自算出の注目度）: 26.69850176244439
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we introduce data multiplexing (DataMUX), a technique that enables deep neural networks to process multiple inputs simultaneously using a single compact representation. DataMUX demonstrates that neural networks are capable of generating accurate predictions over mixtures of inputs, resulting in increased throughput with minimal extra memory requirements. Our approach uses two key components -- 1) a multiplexing layer that performs a fixed linear transformation to each input before combining them to create a mixed representation of the same size as a single input, which is then processed by the base network, and 2) a demultiplexing layer that converts the base network's output back into independent representations before producing predictions for each input. We show the viability of DataMUX for different architectures (Transformers, and to a lesser extent MLPs and CNNs) across six different tasks spanning sentence classification, named entity recognition and image classification. For instance, DataMUX for Transformers can multiplex up to $20$x/$40$x inputs, achieving $11$x/$18$x increase in throughput with minimal absolute performance drops of $<2\%$ and $<4\%$ respectively on MNLI, a natural language inference task. We also provide a theoretical construction for multiplexing in self-attention networks and analyze the effect of various design elements in DataMUX.
• Abstract（参考訳）: 本稿では,1つのコンパクト表現を用いて,深層ニューラルネットワークが複数の入力を同時に処理できる手法であるデータ多重化(DataMUX)を提案する。 DataMUXは、ニューラルネットワークが入力の混合よりも正確な予測を生成できることを示した。 私たちのアプローチは2つの重要なコンポーネントを使用します。 1)1つの入力と同一サイズの混合表現を作成するために結合する前に各入力に対して固定線形変換を行う多重化層で、ベースネットワークによって処理される。 2) 入力毎に予測を生成する前に、ベースネットワークの出力を独立した表現に変換するデマルチプレクシング層。 文の分類,名前付きエンティティ認識,画像分類にまたがる6つのタスクにおいて,異なるアーキテクチャ(トランスフォーマおよびより少ない範囲のmlpおよびcnn)におけるdatamuxの有効性を示す。 例えば、Transformers用のDataMUXは最大20$x/$40$xの入力を多重化でき、自然言語推論タスクであるMNLIでは、最小限のパフォーマンス低下が$<2\%$と$<4\%$のスループットで、11$x/$18$xのスループットを達成できる。 また、自己アテンションネットワークにおける多重化に関する理論的構成を提供し、DataMUXにおける様々な設計要素の効果を分析する。

関連論文リスト

• Retain, Blend, and Exchange: A Quality-aware Spatial-Stereo Fusion Approach for Event Stream Recognition [57.74076383449153]
  本稿では,差分融合によるイベントストリームに基づくパターン認識のための新しいデュアルストリームフレームワークEFV++を提案する。 イベントイメージとイベントボクセルという2つの共通のイベント表現を同時にモデル化する。 Bullying10kデータセットで新しい最先端のパフォーマンス、すなわち90.51%$を達成し、2位を+2.21%$で上回る。
  論文  参考訳（メタデータ） (2024-06-27T02:32:46Z)
• MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition [0.0]
  本稿では,複数の入力を同時に処理できるマルチインプット・マルチプル・アウトプットニューラルネットワーク(MIMONets)を提案する。 MIMONetsは非線形ニューラルトランスフォーメーションを適用してデータ構造を均等に処理し、重畳された入力項目の数にほぼ比例するスピードアップをもたらす。
  論文  参考訳（メタデータ） (2023-12-05T15:25:45Z)
• TransXNet: Learning Both Global and Local Dynamics with a Dual Dynamic Token Mixer for Visual Recognition [71.6546914957701]
  本稿では,グローバルな情報と局所的な詳細を入力依存の方法で集約する軽量なDual Dynamic Token Mixer (D-Mixer)を提案する。 我々は、新しいハイブリッドCNN-TransformerビジョンバックボーンネットワークであるTransXNetを設計するために、基本的なビルディングブロックとしてD-Mixerを使用している。 ImageNet-1Kの画像分類タスクでは、TransXNet-TはSwing-Tを0.3%上回り、計算コストの半分以下である。
  論文  参考訳（メタデータ） (2023-10-30T09:35:56Z)
• Meta-Transformer: A Unified Framework for Multimodal Learning [105.77219833997962]
  マルチモーダル学習は、複数のモーダルからの情報を処理し、関連付けるモデルを構築することを目的としている。 この分野での長年の開発にもかかわらず、様々なモダリティを処理する統一ネットワークを設計することは依然として困難である。 我々は、textbffrozen$ encoderを利用してマルチモーダル認識を行うMeta-Transformerというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:10:29Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Simultaneously Predicting Multiple Plant Traits from Multiple Sensors via Deformable CNN Regression [0.0]
  植物栽培と農業生産のパイプラインにとって、交通量測定は重要である。 我々は、複数のセンサ入力を受け入れ、複数の連続特性出力を予測する比較的単純な畳み込みニューラルネットワーク(CNN)モデルを導入する。
  論文  参考訳（メタデータ） (2021-12-06T18:00:28Z)
• MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks [97.08677678499075]
  マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。 機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-10T15:31:02Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• A New Multiple Max-pooling Integration Module and Cross Multiscale Deconvolution Network Based on Image Semantic Segmentation [7.427799203626843]
  本稿では,MC-Netと呼ばれる医用画像分割のための深部畳み込みネットワークモデルを提案する。 エンコーダのネットワーク構造では、従来の単一チャネルの畳み込みではなく、マルチスケールの畳み込みを用いる。
  論文  参考訳（メタデータ） (2020-03-25T04:27:01Z)
• Prediction of wall-bounded turbulence from wall quantities using convolutional neural networks [0.0]
  完全畳み込みニューラルネットモデルを用いて,壁面正規位置の流速場を予測する。 様々なネットワークが3つの内部スケールの場所で予測するために訓練されている。
  論文  参考訳（メタデータ） (2019-12-30T15:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。