論文の概要: Efficient Methods for Natural Language Processing: A Survey

• arxiv url: http://arxiv.org/abs/2209.00099v1
• Date: Wed, 31 Aug 2022 20:32:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:44:52.382436
• Title: Efficient Methods for Natural Language Processing: A Survey
• Title（参考訳）: 自然言語処理の効率的な手法に関する研究
• Authors: Marcos Treviso, Tianchu Ji, Ji-Ung Lee, Betty van Aken, Qingqing Cao, Manuel R. Ciosici, Michael Hassid, Kenneth Heafield, Sara Hooker, Pedro H. Martins, Andr\'e F. T. Martins, Peter Milder, Colin Raffel, Edwin Simpson, Noam Slonim, Niranjan Balasubramanian, Leon Derczynski, Roy Schwartz
• Abstract要約: 結果を改善するためにスケールのみを使用するということは、リソース消費もスケールすることを意味します。 本研究は,NLPにおけるこれらの効率性における方法と知見を関連づけ,合成するものである。
• 参考スコア（独自算出の注目度）: 48.08738498770358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Getting the most out of limited resources allows advances in natural language processing (NLP) research and practice while being conservative with resources. Those resources may be data, time, storage, or energy. Recent work in NLP has yielded interesting results from scaling; however, using only scale to improve results means that resource consumption also scales. That relationship motivates research into efficient methods that require less resources to achieve similar results. This survey relates and synthesises methods and findings in those efficiencies in NLP, aiming to guide new researchers in the field and inspire the development of new methods.
• Abstract（参考訳）: 限られた資源を最大限に活用することで、自然言語処理(NLP)の研究と実践の進歩が可能になる。 これらのリソースはデータ、時間、ストレージ、エネルギーである。 NLPにおける最近の研究は、スケーリングによって興味深い結果をもたらしたが、結果を改善するためにスケールのみを使用することは、リソース消費もスケールすることを意味する。 この関係は、同様の結果を得るのに少ないリソースを必要とする効率的な方法の研究を動機付ける。 本調査は,NLPにおけるこれらの効率性に関する手法と知見を包括し,新たな研究者を指導し,新たな手法の開発を促すことを目的としている。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• A Survey on Transformers in NLP with Focus on Efficiency [2.7651063843287718]
  本稿では,NLPの進化とその応用について,その精度を有効性として論じる。 本調査の目的は,現在のNLP技術が持続可能な社会にどのように貢献するかを明らかにすることである。
  論文  参考訳（メタデータ） (2024-05-15T10:32:41Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• Efficient Exploration using Model-Based Quality-Diversity with Gradients [4.788163807490196]
  本稿では,モデルに基づく品質多様性アプローチを提案する。 既存のQD手法を拡張して、効率的な利用のために勾配を使い、効率的な探索のために想像において摂動を利用する。 提案手法は, 対外報酬を伴うタスクにおいて, 集団ベースアプローチの多様な探索能力を維持しつつ, サンプル効率と解の質を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2022-11-22T22:19:01Z)
• High-Resource Methodological Bias in Low-Resource Investigations [27.419604203739052]
  我々は、高リソース言語からのダウンサンプリングの結果、低リソースのデータセットとは異なる特性のデータセットが得られることを示した。 結論として,データセットの簡易サンプリングは,これらのシステムが低リソースシナリオでどのように動作するかというバイアスのかかる見方をもたらす。
  論文  参考訳（メタデータ） (2022-11-14T17:04:38Z)
• A Survey on Model Compression for Natural Language Processing [13.949219077548687]
  Transformerは、エッジやモバイルコンピューティングを含む幅広いシナリオにNLPが入り込むのを防ぐ。 効率的なNLP研究は、NLPのライフサイクル全体に対する計算、時間、炭素排出量を包括的に検討することを目的としている。
  論文  参考訳（メタデータ） (2022-02-15T00:18:47Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• An Empirical Survey of Data Augmentation for Limited Data Learning in NLP [88.65488361532158]
  豊富なデータへの依存は、低リソース設定や新しいタスクにNLPモデルを適用するのを防ぐ。 NLPにおけるデータ効率を改善する手段として,データ拡張手法が検討されている。 限定ラベル付きデータ設定におけるNLPのデータ拡張に関する最近の進展を実証的に調査する。
  論文  参考訳（メタデータ） (2021-06-14T15:27:22Z)
• A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages [14.694800341598368]
  低リソース環境における形態素リッチ言語(MRL)の依存性解析に着目する。 これらの課題に対処するために,プリトレーニングのための簡単な補助タスクを提案する。 提案手法の有効性を評価するため,低リソース環境下で10個のMRL実験を行った。
  論文  参考訳（メタデータ） (2021-02-12T14:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。