論文の概要: A Survey on Model Compression for Natural Language Processing

• arxiv url: http://arxiv.org/abs/2202.07105v1
• Date: Tue, 15 Feb 2022 00:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 13:21:33.135656
• Title: A Survey on Model Compression for Natural Language Processing
• Title（参考訳）: 自然言語処理のためのモデル圧縮に関する調査
• Authors: Canwen Xu and Julian McAuley
• Abstract要約: Transformerは、エッジやモバイルコンピューティングを含む幅広いシナリオにNLPが入り込むのを防ぐ。 効率的なNLP研究は、NLPのライフサイクル全体に対する計算、時間、炭素排出量を包括的に検討することを目的としている。
• 参考スコア（独自算出の注目度）: 13.949219077548687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With recent developments in new architectures like Transformer and pretraining techniques, significant progress has been made in applications of natural language processing (NLP). However, the high energy cost and long inference delay of Transformer is preventing NLP from entering broader scenarios including edge and mobile computing. Efficient NLP research aims to comprehensively consider computation, time and carbon emission for the entire life-cycle of NLP, including data preparation, model training and inference. In this survey, we focus on the inference stage and review the current state of model compression for NLP, including the benchmarks, metrics and methodology. We outline the current obstacles and future research directions.
• Abstract（参考訳）: トランスフォーマーやプレトレーニング技術といった新しいアーキテクチャの発展に伴い、自然言語処理(NLP)の応用において大きな進歩を遂げている。 しかし、Transformerの高エネルギーコストと長時間の推論遅延により、NLPがエッジやモバイルコンピューティングを含む幅広いシナリオに入るのを防いでいる。 効率的なNLP研究は、データ準備、モデルトレーニング、推論を含むNLPのライフサイクル全体の計算、時間、炭素排出量を包括的に検討することを目的としている。 本稿では,NLPのモデル圧縮の現状を,ベンチマーク,メトリクス,方法論など,推論段階に焦点をあてて検討する。 現在の障害と今後の研究方向性について概説する。

関連論文リスト

• Natural Language Processing Methods for the Study of Protein-Ligand Interactions [8.165512093198934]
  自然言語処理の最近の進歩は、タンパク質-リガンド相互作用を予測する効果的な方法の開発に関心を抱いている。 本稿では,近年の文献にそのようなアプローチが適用された経緯と,短期記憶,変圧器,注意などの有用なメカニズムについて解説する。 我々は、PLIの研究におけるNLP手法の現在の限界と、今後の課題について論じる。
  論文  参考訳（メタデータ） (2024-09-19T19:14:50Z)
• A Survey on Transformers in NLP with Focus on Efficiency [2.7651063843287718]
  本稿では,NLPの進化とその応用について,その精度を有効性として論じる。 本調査の目的は,現在のNLP技術が持続可能な社会にどのように貢献するかを明らかにすることである。
  論文  参考訳（メタデータ） (2024-05-15T10:32:41Z)
• Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning [0.0]
  そこで本研究では,それを利用した微調整フレームワークを提案する。 PEFT(Efficient Fine-Tuning)技術。 提案する微調整フレームワークは,最大で0.4%のパラメータをチューニングすることで,コードテキスト検索性能を向上させる可能性を実証した。
  論文  参考訳（メタデータ） (2024-05-07T08:50:25Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
  LBANP(Latent Bottlenecked Attentive Neural Processs)について LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。 LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-11-15T19:21:41Z)
• A Kernel-Based View of Language Model Fine-Tuning [94.75146965041131]
  ニューラル・タンジェント・カーネル(NTK)が事前学習したLMの微調整を記述しているかどうかを検討する。 本稿では,ダウンストリームタスクを暗黙の単語予測問題として定式化することで,微調整中にカーネルベースのダイナミクスをしばしば引き起こすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T17:34:32Z)
• Efficient Methods for Natural Language Processing: A Survey [76.34572727185896]
  本研究は, 効率的なNLPにおける現在の手法と知見を合成し, 関連づけるものである。 我々は,限られた資源下でNLPを実施するためのガイダンスと,より効率的な手法を開発するための有望な研究方向性の両立を目指す。
  論文  参考訳（メタデータ） (2022-08-31T20:32:35Z)
• Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
  BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。 本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
  論文  参考訳（メタデータ） (2021-11-01T20:08:05Z)
• An Empirical Survey of Data Augmentation for Limited Data Learning in NLP [88.65488361532158]
  豊富なデータへの依存は、低リソース設定や新しいタスクにNLPモデルを適用するのを防ぐ。 NLPにおけるデータ効率を改善する手段として,データ拡張手法が検討されている。 限定ラベル付きデータ設定におけるNLPのデータ拡張に関する最近の進展を実証的に調査する。
  論文  参考訳（メタデータ） (2021-06-14T15:27:22Z)
• The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures [0.0]
  自然言語処理モデルは言語的および意味的なタスクにおいて驚くべき成功を収めた。 最近のNLPアーキテクチャは、中程度のモデルサイズを達成するために、トランスファーラーニング、プルーニング、量子化、知識蒸留の概念を活用している。 知識レトリバーは、より大きなデータベースのコーパスから、より効率と正確さで明示的なデータドキュメントを抽出するために構築されている。
  論文  参考訳（メタデータ） (2021-03-23T22:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。