論文の概要: A Survey on Transformers in NLP with Focus on Efficiency

• arxiv url: http://arxiv.org/abs/2406.16893v1
• Date: Wed, 15 May 2024 10:32:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 06:41:31.145041
• Title: A Survey on Transformers in NLP with Focus on Efficiency
• Title（参考訳）: 効率性に着目したNLP変圧器の検討
• Authors: Wazib Ansar, Saptarsi Goswami, Amlan Chakrabarti,
• Abstract要約: 本稿では,NLPの進化とその応用について,その精度を有効性として論じる。 本調査の目的は,現在のNLP技術が持続可能な社会にどのように貢献するかを明らかにすることである。
• 参考スコア（独自算出の注目度）: 2.7651063843287718
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The advent of transformers with attention mechanisms and associated pre-trained models have revolutionized the field of Natural Language Processing (NLP). However, such models are resource-intensive due to highly complex architecture. This limits their application to resource-constrained environments. While choosing an appropriate NLP model, a major trade-off exists over choosing accuracy over efficiency and vice versa. This paper presents a commentary on the evolution of NLP and its applications with emphasis on their accuracy as-well-as efficiency. Following this, a survey of research contributions towards enhancing the efficiency of transformer-based models at various stages of model development along with hardware considerations has been conducted. The goal of this survey is to determine how current NLP techniques contribute towards a sustainable society and to establish a foundation for future research.
• Abstract（参考訳）: 注意機構と関連する事前学習モデルを備えたトランスフォーマーの出現は、自然言語処理(NLP)の分野に革命をもたらした。 しかし、そのようなモデルは、非常に複雑なアーキテクチャのため、リソース集約である。 これにより、リソースに制約のある環境へのアプリケーションを制限します。 適切なNLPモデルを選択する一方で、効率よりも正確さを選択するという大きなトレードオフが存在する。 本稿では,NLPの進化とその応用について,その精度を有効性として論じる。 その後, モデル開発の様々な段階において, トランスフォーマーモデルの有効性向上に寄与する研究成果について, ハードウェアの考察とともに調査を行った。 本調査の目的は、現在のNLP技術が持続可能な社会にどのように貢献するかを判断し、将来の研究の基盤を確立することである。

関連論文リスト

• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• PASTA: Pretrained Action-State Transformer Agents [10.654719072766495]
  自己教師型学習は、様々なコンピューティング領域において革命的なパラダイムシフトをもたらした。 最近のアプローチでは、大量のラベルのないデータに基づいて、トランスフォーマーモデルを事前訓練する。 強化学習において、研究者は最近これらのアプローチに適応し、専門家の軌道で事前訓練されたモデルを開発した。
  論文  参考訳（メタデータ） (2023-07-20T15:09:06Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Application of Transformers based methods in Electronic Medical Records: A Systematic Literature Review [77.34726150561087]
  本研究は,異なるNLPタスクにおける電子カルテ(EMR)のトランスフォーマーに基づく手法を用いて,最先端技術に関する体系的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-04-05T22:19:42Z)
• Efficient Methods for Natural Language Processing: A Survey [76.34572727185896]
  本研究は, 効率的なNLPにおける現在の手法と知見を合成し, 関連づけるものである。 我々は,限られた資源下でNLPを実施するためのガイダンスと,より効率的な手法を開発するための有望な研究方向性の両立を目指す。
  論文  参考訳（メタデータ） (2022-08-31T20:32:35Z)
• A Survey on Model Compression for Natural Language Processing [13.949219077548687]
  Transformerは、エッジやモバイルコンピューティングを含む幅広いシナリオにNLPが入り込むのを防ぐ。 効率的なNLP研究は、NLPのライフサイクル全体に対する計算、時間、炭素排出量を包括的に検討することを目的としている。
  論文  参考訳（メタデータ） (2022-02-15T00:18:47Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• Automated essay scoring using efficient transformer-based language models [0.5161531917413708]
  Automated Essay Scoring(AES)は、教育、言語学、自然言語処理(NLP)を含む学際的な取り組みです。 大規模なプリトレーニングトランスフォーマーベースの言語モデルは、多くのNLPタスクで現在の最先端を支配しています。 この論文は、AESに関しては、より大きなNLPのパラダイムに挑むことを目的としています。
  論文  参考訳（メタデータ） (2021-02-25T19:28:39Z)
• Compressing Large-Scale Transformer-Based Models: A Case Study on BERT [41.04066537294312]
  事前訓練されたTransformerベースのモデルは、様々な自然言語処理(NLP)タスクに対して最先端のパフォーマンスを達成した。 これらのモデルは数十億のパラメータを持ち、そのため、リソース不足と計算集約が多すぎて、低機能デバイスやアプリケーションに適合しない。 これに対する潜在的な対策の1つはモデル圧縮であり、多くの研究が注目されている。
  論文  参考訳（メタデータ） (2020-02-27T09:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。