論文の概要: Efficient Methods for Natural Language Processing: A Survey

• arxiv url: http://arxiv.org/abs/2209.00099v2
• Date: Fri, 24 Mar 2023 19:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 02:44:33.815379
• Title: Efficient Methods for Natural Language Processing: A Survey
• Title（参考訳）: 自然言語処理の効率的な手法に関する研究
• Authors: Marcos Treviso, Ji-Ung Lee, Tianchu Ji, Betty van Aken, Qingqing Cao, Manuel R. Ciosici, Michael Hassid, Kenneth Heafield, Sara Hooker, Colin Raffel, Pedro H. Martins, Andr\'e F. T. Martins, Jessica Zosa Forde, Peter Milder, Edwin Simpson, Noam Slonim, Jesse Dodge, Emma Strubell, Niranjan Balasubramanian, Leon Derczynski, Iryna Gurevych, Roy Schwartz
• Abstract要約: 本研究は, 効率的なNLPにおける現在の手法と知見を合成し, 関連づけるものである。 我々は,限られた資源下でNLPを実施するためのガイダンスと,より効率的な手法を開発するための有望な研究方向性の両立を目指す。
• 参考スコア（独自算出の注目度）: 76.34572727185896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work in natural language processing (NLP) has yielded appealing results from scaling model parameters and training data; however, using only scale to improve performance means that resource consumption also grows. Such resources include data, time, storage, or energy, all of which are naturally limited and unevenly distributed. This motivates research into efficient methods that require fewer resources to achieve similar results. This survey synthesizes and relates current methods and findings in efficient NLP. We aim to provide both guidance for conducting NLP under limited resources, and point towards promising research directions for developing more efficient methods.
• Abstract（参考訳）: 自然言語処理(NLP)における最近の研究は、モデルパラメータのスケーリングとトレーニングデータから魅力的な結果を得ているが、性能向上のためにスケールのみを使用することで、資源消費も増大している。 そのようなリソースには、データ、時間、ストレージ、エネルギーが含まれており、それらは自然に制限され、均等に分散している。 これにより、同様の結果を得るのに少ないリソースを必要とする効率的な方法の研究が動機となる。 本研究は, 効率的なNLPにおける現在の手法と知見を合成し, 関連づけるものである。 我々は,限られた資源下でNLPを実施するためのガイダンスと,より効率的な手法を開発するための有望な研究方向性の両立を目指す。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• A Survey on Transformers in NLP with Focus on Efficiency [2.7651063843287718]
  本稿では,NLPの進化とその応用について,その精度を有効性として論じる。 本調査の目的は,現在のNLP技術が持続可能な社会にどのように貢献するかを明らかにすることである。
  論文  参考訳（メタデータ） (2024-05-15T10:32:41Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Efficient Exploration using Model-Based Quality-Diversity with Gradients [4.788163807490196]
  本稿では,モデルに基づく品質多様性アプローチを提案する。 既存のQD手法を拡張して、効率的な利用のために勾配を使い、効率的な探索のために想像において摂動を利用する。 提案手法は, 対外報酬を伴うタスクにおいて, 集団ベースアプローチの多様な探索能力を維持しつつ, サンプル効率と解の質を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2022-11-22T22:19:01Z)
• High-Resource Methodological Bias in Low-Resource Investigations [27.419604203739052]
  我々は、高リソース言語からのダウンサンプリングの結果、低リソースのデータセットとは異なる特性のデータセットが得られることを示した。 結論として,データセットの簡易サンプリングは,これらのシステムが低リソースシナリオでどのように動作するかというバイアスのかかる見方をもたらす。
  論文  参考訳（メタデータ） (2022-11-14T17:04:38Z)
• A Survey on Model Compression for Natural Language Processing [13.949219077548687]
  Transformerは、エッジやモバイルコンピューティングを含む幅広いシナリオにNLPが入り込むのを防ぐ。 効率的なNLP研究は、NLPのライフサイクル全体に対する計算、時間、炭素排出量を包括的に検討することを目的としている。
  論文  参考訳（メタデータ） (2022-02-15T00:18:47Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• An Empirical Survey of Data Augmentation for Limited Data Learning in NLP [88.65488361532158]
  豊富なデータへの依存は、低リソース設定や新しいタスクにNLPモデルを適用するのを防ぐ。 NLPにおけるデータ効率を改善する手段として,データ拡張手法が検討されている。 限定ラベル付きデータ設定におけるNLPのデータ拡張に関する最近の進展を実証的に調査する。
  論文  参考訳（メタデータ） (2021-06-14T15:27:22Z)
• A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages [14.694800341598368]
  低リソース環境における形態素リッチ言語(MRL)の依存性解析に着目する。 これらの課題に対処するために,プリトレーニングのための簡単な補助タスクを提案する。 提案手法の有効性を評価するため,低リソース環境下で10個のMRL実験を行った。
  論文  参考訳（メタデータ） (2021-02-12T14:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。