論文の概要: Tiny Neural Models for Seq2Seq

• arxiv url: http://arxiv.org/abs/2108.03340v1
• Date: Sat, 7 Aug 2021 00:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:38:24.183713
• Title: Tiny Neural Models for Seq2Seq
• Title（参考訳）: Seq2Seqのティニーニューラルモデル
• Authors: Arun Kandoor
• Abstract要約: pQRNN-MAttと呼ばれるプロジェクションベースエンコーダデコーダモデルを提案する。 その結果得られた量子化モデルのサイズは3.5MB未満であり、デバイス上のレイテンシクリティカルなアプリケーションに適している。 本稿では,多言語意味解析データセットであるMTOPにおいて,平均モデル性能が,85倍の精度で事前学習した埋め込みを用いたLSTMベースのSeq2seqモデルを上回ることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic parsing models with applications in task oriented dialog systems require efficient sequence to sequence (seq2seq) architectures to be run on-device. To this end, we propose a projection based encoder-decoder model referred to as pQRNN-MAtt. Studies based on projection methods were restricted to encoder-only models, and we believe this is the first study extending it to seq2seq architectures. The resulting quantized models are less than 3.5MB in size and are well suited for on-device latency critical applications. We show that on MTOP, a challenging multilingual semantic parsing dataset, the average model performance surpasses LSTM based seq2seq model that uses pre-trained embeddings despite being 85x smaller. Furthermore, the model can be an effective student for distilling large pre-trained models such as T5/BERT.
• Abstract（参考訳）: タスク指向ダイアログシステムにおけるアプリケーションとセマンティック解析モデルは、デバイス上で実行するために効率的なシーケンス・トゥ・シークエンス(seq2seq)アーキテクチャを必要とする。 そこで本研究では,pQRNN-MAttと呼ばれるプロジェクションベースのエンコーダデコーダモデルを提案する。 プロジェクション法に基づく研究はエンコーダのみのモデルに限られており、これがSeq2seqアーキテクチャに拡張した最初の研究であると考えている。 その結果得られた量子化モデルは3.5MB未満で、デバイス上のレイテンシクリティカルなアプリケーションに適している。 多言語意味解析データセットmtopでは,平均モデル性能がlstmベースのseq2seqモデルよりも85倍小さいにもかかわらず,事前学習された組込みを使用する。 さらに, t5/bert などの大規模事前学習モデルの蒸留に有効であった。

関連論文リスト

• Adaptable Embeddings Network (AEN) [49.1574468325115]
  我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。 AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。 アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
  論文  参考訳（メタデータ） (2024-11-21T02:15:52Z)
• Model Stock: All we need is just a few fine-tuned models [34.449901046895185]
  本稿では,大規模な事前学習モデルに対する効率的な微調整手法を提案し,強力な分布内分散(ID)と分布外分散(OOD)性能を提供する。 最終的な重量を達成するために、はるかに少ないモデルを採用するが、精度は優れている。 事前学習型CLIPアーキテクチャに基づく微調整モデルを用いたモデルストックの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-28T15:57:20Z)
• MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
  MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。 2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。 また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• Exploiting the Potential of Seq2Seq Models as Robust Few-Shot Learners [8.43854206194162]
  この結果から,Seq2seqモデルは多種多様なアプリケーションに対して非常に効果的であることを示す。 本稿では,セq2seqモデルにおける文脈内学習能力をより効果的に活用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T13:37:06Z)
• Recipes for Sequential Pre-training of Multilingual Encoder and Seq2Seq Models [16.49601740473416]
  1つのモデルを他のモデルから初期化することで、トレーニング効率を向上させるためのレシピを探索する。 エンコーダを用いてSeq2seqのトレーニングを温めることで、Scratch Seq2seqモデルのタスク性能にマッチできることを示す。
  論文  参考訳（メタデータ） (2023-06-14T21:41:52Z)
• FlexiBERT: Are Current Transformer Architectures too Homogeneous and Rigid? [7.813154720635396]
  本稿では,多種多様な演算可能なエンコーダ層を有する多種多様なモデルであるFlexiBERTを提案する。 また、この新たなスキーム、ベイズモデル、二階最適化を活用した新しいNASポリシーであるBOSHNASを提案する。 包括的な実験の結果、FlexiBERTの設計領域に適用された提案されたポリシーは、従来のモデルと比較してパフォーマンスのフロンティアを上方に押し上げる。
  論文  参考訳（メタデータ） (2022-05-23T22:44:34Z)
• What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? [50.84738303888189]
  本稿では,モデル選択の大規模評価とそのゼロショット一般化への影響について述べる。 私たちは、70億以上のトークンに対して、50億以上のパラメータを持つモデルをトレーニングします。 事前学習した因果デコーダモデルを非因果デコーダモデルに効率的に適用できることが判明した。
  論文  参考訳（メタデータ） (2022-04-12T14:19:49Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog [22.442123799917074]
  効率的なseq2seqモデルアーキテクチャを用いて意味解析木を予測する非回帰的手法を提案する。 非自己回帰予測と畳み込みニューラルネットワークを組み合わせることで、大きな遅延ゲインとパラメータサイズ削減を実現する。
  論文  参考訳（メタデータ） (2021-04-11T05:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。