論文の概要: Partial Tensorized Transformers for Natural Language Processing

• arxiv url: http://arxiv.org/abs/2310.20077v1
• Date: Mon, 30 Oct 2023 23:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 17:12:42.576968
• Title: Partial Tensorized Transformers for Natural Language Processing
• Title（参考訳）: 自然言語処理のための部分テンソル化トランスフォーマー
• Authors: Subhadra Vadlamannati, Ryan Solgi
• Abstract要約: 本研究では,テンソル-トレイン分解による視覚言語ニューラルネットワーク(BERT, ViT)の精度向上と圧縮効果について検討した。 我々の新しいPTNNアプローチは、トレーニング後の調整を必要とせず、既存のモデルの精度を最大5%向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The transformer architecture has revolutionized Natural Language Processing (NLP) and other machine-learning tasks, due to its unprecedented accuracy. However, their extensive memory and parameter requirements often hinder their practical applications. In this work, we study the effect of tensor-train decomposition to improve the accuracy and compress transformer vision-language neural networks, namely BERT and ViT. We focus both on embedding-layer compression and partial tensorization of neural networks (PTNN) through an algorithmic approach. Our novel PTNN approach significantly improves the accuracy of existing models by up to 5%, all without the need for post-training adjustments, breaking new ground in the field of tensor decomposition.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、前例のない精度のため、自然言語処理(NLP)や他の機械学習タスクに革命をもたらした。 しかし、その広範なメモリとパラメータ要件は、しばしば実用上の応用を妨げる。 本研究では,トランスフォーマービジョン言語ニューラルネット(bert,vit)の精度向上と圧縮におけるテンソル-トレイン分解の効果について検討する。 ニューラルネットワーク(PTNN)の埋め込み層圧縮と部分的テンソル化の両方にアルゴリズム的アプローチで焦点をあてる。 新しいptnnアプローチは,トレーニング後の調整を必要とせず,既存のモデルの精度を最大5%向上させ,テンソル分解の分野における新たな基盤を打ち破る。

関連論文リスト

• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Tensor Decomposition for Model Reduction in Neural Networks: A Review [13.96938227911258]
  現代のニューラルネットワークはコンピュータビジョン(CV)と自然言語処理(NLP)の分野に革命をもたらした 複雑なCVタスクや画像分類、画像生成、機械翻訳といったNLPタスクの解決に広く用いられている。 本稿では,6つのテンソル分解法を概説し,モデルパラメータの圧縮能力について述べる。
  論文  参考訳（メタデータ） (2023-04-26T13:12:00Z)
• Variational Tensor Neural Networks for Deep Learning [0.0]
  深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。 これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。 我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
  論文  参考訳（メタデータ） (2022-11-26T20:24:36Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• BiT: Robustly Binarized Multi-distilled Transformer [36.06192421902272]
  実測精度の高いバイナライズトランスフォーマーモデルを開発し,5.9%の精度で完全精度のBERTベースラインにアプローチする。 これらのアプローチにより、事実上の精度で完全に双対化されたトランスフォーマーモデルが5.9%の精度で完全精度のBERTベースラインに近づいた。
  論文  参考訳（メタデータ） (2022-05-25T19:01:54Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。