論文の概要: HyperEmbed: Tradeoffs Between Resources and Performance in NLP Tasks
with Hyperdimensional Computing enabled Embedding of n-gram Statistics
- arxiv url: http://arxiv.org/abs/2003.01821v2
- Date: Mon, 31 May 2021 19:28:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 22:42:31.159081
- Title: HyperEmbed: Tradeoffs Between Resources and Performance in NLP Tasks
with Hyperdimensional Computing enabled Embedding of n-gram Statistics
- Title（参考訳）: HyperEmbed: n-gram 統計の埋め込みを可能にする超次元計算によるNLPタスクのリソースとパフォーマンスのトレードオフ
- Authors: Pedro Alonso, Kumar Shridhar, Denis Kleyko, Evgeny Osipov, Marcus
Liwicki
- Abstract要約: 本稿では,テキストのn-gram統計量の分散表現について検討する。
これらの表現は、超次元コンピューティングによって実現された埋め込みを用いて形成される。
分類タスクのための1つの大小3つの標準データセットへの埋め込みの適用性について検討する。
- 参考スコア（独自算出の注目度）: 6.528870969149065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Deep Learning have led to a significant performance
increase on several NLP tasks, however, the models become more and more
computationally demanding. Therefore, this paper tackles the domain of
computationally efficient algorithms for NLP tasks. In particular, it
investigates distributed representations of n-gram statistics of texts. The
representations are formed using hyperdimensional computing enabled embedding.
These representations then serve as features, which are used as input to
standard classifiers. We investigate the applicability of the embedding on one
large and three small standard datasets for classification tasks using nine
classifiers. The embedding achieved on par F1 scores while decreasing the time
and memory requirements by several times compared to the conventional n-gram
statistics, e.g., for one of the classifiers on a small dataset, the memory
reduction was 6.18 times; while train and test speed-ups were 4.62 and 3.84
times, respectively. For many classifiers on the large dataset, memory
reduction was ca. 100 times and train and test speed-ups were over 100 times.
Importantly, the usage of distributed representations formed via
hyperdimensional computing allows dissecting strict dependency between the
dimensionality of the representation and n-gram size, thus, opening a room for
tradeoffs.
- Abstract（参考訳）: 近年のディープラーニングの進歩は、いくつかのNLPタスクにおいて顕著なパフォーマンス向上をもたらしたが、モデルがますます計算的に要求されるようになっている。
そこで本稿では,NLPタスクに対する計算効率のよいアルゴリズムの分野に取り組む。
特に、テキストのn-gram統計の分散表現について検討する。
表現は超次元計算可能埋め込みを用いて形成される。
これらの表現は、標準分類器への入力として使用される特徴として機能する。
本研究では,9つの分類器を用いて1つの大小3つの標準データセットへの埋め込みの適用性を検討した。
例えば、小さなデータセット上の分類器の1つでは、メモリの削減は6.18倍であり、列車とテストのスピードアップはそれぞれ4.62倍と3.84倍である。
大規模データセット上の多くの分類器では,メモリ削減がcaであった。
100回、列車とテストのスピードアップは100回以上でした。
重要なことに、超次元コンピューティングによって形成される分散表現の使用は、表現の次元と n-gram サイズの間の厳密な依存関係を解消し、トレードオフの余地を開くことができる。
関連論文リスト
- TrIM: Triangular Input Movement Systolic Array for Convolutional Neural Networks -- Part I: Dataflow and Analytical Modelling [0.0]
畳み込みニューラルネットワーク(CNN)は、特にフォン・ノイマンのボトルネックの影響を受けやすい。
本稿では,三角入力運動に基づくSystolic Arrayの新たなデータフローであるTrIMを提案する。
論文 参考訳（メタデータ） (2024-08-02T13:15:17Z) - Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference
of Deep Learning [5.41530201129053]
本稿では,新しい暗記ベース推論(MBI)を提案する。
具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。
低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。
計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
論文 参考訳（メタデータ） (2023-07-14T21:01:59Z) - Rediscovering Hashed Random Projections for Efficient Quantization of
Contextualized Sentence Embeddings [113.38884267189871]
エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。
データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。
ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。
組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
論文 参考訳（メタデータ） (2023-03-13T10:53:00Z) - DyG2Vec: Efficient Representation Learning for Dynamic Graphs [26.792732615703372]
時間グラフニューラルネットワークは、時間パターンを自動的に抽出することで、帰納的表現の学習において有望な結果を示している。
時間的エッジエンコーディングとウィンドウベースのサブグラフサンプリングを利用してタスクに依存しない埋め込みを生成する。
論文 参考訳（メタデータ） (2022-10-30T18:13:04Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳（メタデータ） (2022-07-31T21:39:15Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Temporal Attention-Augmented Graph Convolutional Network for Efficient
Skeleton-Based Human Action Recognition [97.14064057840089]
グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。
ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。
本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
論文 参考訳（メタデータ） (2020-10-23T08:01:55Z) - SOLAR: Sparse Orthogonal Learned and Random Embeddings [45.920844071257754]
我々は,高次元および超スパース埋め込みが,クエリ効率と精度の両面において,高密度な低次元埋め込みよりもはるかに優れていると論じている。
我々は,最大3つの公開データセット上で1.6万冊の書籍を検索し,複数ラベルの分類を行うタスクに対して,500K次元のSOLAR埋め込みを訓練する。
それぞれのタスクに対して,最大10倍の高速さで,各タスクの最先端のベースラインと比較して,精度とリコールの精度が向上する。
論文 参考訳（メタデータ） (2020-08-30T17:35:35Z) - Using Company Specific Headlines and Convolutional Neural Networks to
Predict Stock Fluctuations [0.0]
本研究は、企業固有のニュース見出しを用いて、次の株価変動を予測するための畳み込みニューラルネットワーク(CNN)を提案する。
使用する畳み込みフィルタの総数は、通常よりもはるかに少なく、精度を損なうことなくタスクの次元性を低下させる。
61.7%の分類精度は、事前学習した埋め込みを用いて達成され、このタスクの特定のコンテキストを表現するために訓練中に微調整される。
論文 参考訳（メタデータ） (2020-06-22T16:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。