論文の概要: End to End Binarized Neural Networks for Text Classification
- arxiv url: http://arxiv.org/abs/2010.05223v1
- Date: Sun, 11 Oct 2020 11:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 12:59:55.530254
- Title: End to End Binarized Neural Networks for Text Classification
- Title（参考訳）: テキスト分類のためのエンドツーエンド二元化ニューラルネットワーク
- Authors: Harshil Jain, Akshat Agarwal, Kumar Shridhar, Denis Kleyko
- Abstract要約: 目的分類タスクのためのエンドツーエンドのバイナライズニューラルネットワークアーキテクチャを提案する。
提案したアーキテクチャは、標準的な意図分類データセットにおける最先端の結果に匹敵する。
- 参考スコア（独自算出の注目度）: 4.046236197219608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks have demonstrated their superior performance in almost
every Natural Language Processing task, however, their increasing complexity
raises concerns. In particular, these networks require high expenses on
computational hardware, and training budget is a concern for many. Even for a
trained network, the inference phase can be too demanding for
resource-constrained devices, thus limiting its applicability. The
state-of-the-art transformer models are a vivid example. Simplifying the
computations performed by a network is one way of relaxing the complexity
requirements. In this paper, we propose an end to end binarized neural network
architecture for the intent classification task. In order to fully utilize the
potential of end to end binarization, both input representations (vector
embeddings of tokens statistics) and the classifier are binarized. We
demonstrate the efficiency of such architecture on the intent classification of
short texts over three datasets and for text classification with a larger
dataset. The proposed architecture achieves comparable to the state-of-the-art
results on standard intent classification datasets while utilizing ~ 20-40%
lesser memory and training time. Furthermore, the individual components of the
architecture, such as binarized vector embeddings of documents or binarized
classifiers, can be used separately with not necessarily fully binary
architectures.
- Abstract（参考訳）: ディープニューラルネットワークは、ほぼすべての自然言語処理タスクにおいて優れたパフォーマンスを示しているが、複雑さの増加は懸念を生じさせている。
特に、これらのネットワークは計算ハードウェアに高い費用を必要とするため、多くの人にとってトレーニング予算が問題となる。
トレーニングされたネットワークであっても、リソース制約のあるデバイスには推論フェーズがあまりにも要求されるため、適用性が制限される。
最先端のトランスモデルは、鮮やかな例である。
ネットワークによって実行される計算を単純化することは、複雑さの要件を緩和する方法のひとつです。
本稿では,目的分類タスクのためのエンドツーエンドバイナリ化ニューラルネットワークアーキテクチャを提案する。
終端バイナライゼーションの可能性を完全に活用するために、入力表現(トークン統計のベクトル埋め込み)と分類器の両方をバイナライズする。
3つのデータセット上の短いテキストの意図的な分類と、より大きなデータセットによるテキスト分類において、このようなアーキテクチャの効率性を示す。
提案するアーキテクチャは,20～40%のメモリ削減とトレーニング時間を活用しながら,標準インテント分類データセットの最先端結果に匹敵する性能を発揮する。
さらに、文書のバイナライズされたベクトル埋め込みやバイナライズされた分類器のようなアーキテクチャの個々のコンポーネントは、必ずしも完全なバイナリアーキテクチャでは、別々に使用することができる。
関連論文リスト
- Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Convolution, aggregation and attention based deep neural networks for
accelerating simulations in mechanics [1.0154623955833253]
固体の変形を効率的に学習するための3種類のニューラルネットワークアーキテクチャを実証する。
最初の2つは、最近提案されたCNN U-NETとMagNETフレームワークに基づいており、メッシュベースのデータで学習する上で有望なパフォーマンスを示している。
第3のアーキテクチャであるPerceiver IOは、注目に基づくニューラルネットワークのファミリに属する、非常に最近のアーキテクチャである。
論文 参考訳（メタデータ） (2022-12-01T13:10:56Z) - Investigating Neural Architectures by Synthetic Dataset Design [14.317837518705302]
近年、多くの新しいニューラルネットワーク構造(アーキテクチャと層)が出現している。
アドホックな合成データセットを設計することにより,各構造がネットワーク能力に与える影響を測定する手法をスケッチする。
本稿では,以下の3つのネットワーク特性のそれぞれを評価するために,3つのデータセットを構築した手法について述べる。
論文 参考訳（メタデータ） (2022-04-23T10:50:52Z) - An Efficient End-to-End 3D Model Reconstruction based on Neural
Architecture Search [5.913946292597174]
ニューラルアーキテクチャサーチ(NAS)とバイナリ分類を用いた効率的なモデル再構成手法を提案する。
本手法は,より少ないネットワークパラメータを用いて,再構成精度を著しく向上する。
論文 参考訳（メタデータ） (2022-02-27T08:53:43Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Neural Network Layer Algebra: A Framework to Measure Capacity and
Compression in Deep Learning [0.0]
本稿では,(深度)ニューラルネットワークの内在特性を測定するための新しい枠組みを提案する。
畳み込みネットワークに重点を置いている間、我々のフレームワークはどんなネットワークアーキテクチャにも外挿できる。
論文 参考訳（メタデータ） (2021-07-02T13:43:53Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。