論文の概要: Efficient transfer learning for NLP with ELECTRA
- arxiv url: http://arxiv.org/abs/2104.02756v1
- Date: Tue, 6 Apr 2021 19:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-09 02:51:31.593554
- Title: Efficient transfer learning for NLP with ELECTRA
- Title(参考訳): ELECTRAを用いたNLPの効率的な伝達学習
- Authors: Fran\c{c}ois Mercier
- Abstract要約: ELECTRAアプローチは予算に対するNLPパフォーマンスで非常に効率的です。
計算コストの面で、低リソース設定でNLPのSOTA性能に近づけるためにELECTRAを使用できますか?
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clark et al. [2020] claims that the ELECTRA approach is highly efficient in
NLP performances relative to computation budget. As such, this reproducibility
study focus on this claim, summarized by the following question: Can we use
ELECTRA to achieve close to SOTA performances for NLP in low-resource settings,
in term of compute cost?
- Abstract(参考訳): Clarkら。
[2020] は計算予算に対する NLP 性能において ELECTRA アプローチは高い効率であると主張している。
ELECTRAを用いて低リソース環境でのNLPのSOTA性能に近い性能を計算コストの観点から実現できるか?
関連論文リスト
- Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-18T03:34:59Z) - Towards Green AI in Fine-tuning Large Language Models via Adaptive
Backpropagation [58.550710456745726]
ファインチューニングは、トレーニング済みの大規模言語モデル(LLM)を下流アプリケーションに適用する最も効果的な方法である。
既存の高速微調整技術は, FLOPの低減に限界がある。
本稿では,異なるテンソルのバックプロパゲーションコストを適応的に評価する新しい手法であるGreenTrainerについて述べる。
論文 参考訳(メタデータ) (2023-09-22T21:55:18Z) - Parameter and Computation Efficient Transfer Learning for
Vision-Language Pre-trained Models [79.34513906324727]
本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。
そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
論文 参考訳(メタデータ) (2023-09-04T09:34:33Z) - A Deep Reinforcement Learning-Based Charging Scheduling Approach with
Augmented Lagrangian for Electric Vehicle [2.686271754751717]
本稿では,EV充電スケジューリング問題を制約付きマルコフ決定過程(CMDP)として定式化する。
本稿では, CMDP を解くために, 安全な非政治強化学習(RL)手法を提案する。
実世界の電力価格を用いた総合的な数値実験により,提案アルゴリズムは高解最適性と制約コンプライアンスを実現することができることを示した。
論文 参考訳(メタデータ) (2022-09-20T14:56:51Z) - Efficient Methods for Natural Language Processing: A Survey [76.34572727185896]
本研究は, 効率的なNLPにおける現在の手法と知見を合成し, 関連づけるものである。
我々は,限られた資源下でNLPを実施するためのガイダンスと,より効率的な手法を開発するための有望な研究方向性の両立を目指す。
論文 参考訳(メタデータ) (2022-08-31T20:32:35Z) - Optimal Lighting Control in Greenhouses Using Bayesian Neural Networks
for Sunlight Prediction [0.8602553195689513]
日光予測のための変分推論ベイズニューラルネットワーク(BNN)モデルを考慮した最適補光制御手法を開発した。
提案手法は,BNNによる日光予測,植物光の需要,電力価格の変動を考慮した電力コストの最小化を図っている。
論文 参考訳(メタデータ) (2022-05-07T22:41:49Z) - A Survey on Model Compression for Natural Language Processing [13.949219077548687]
Transformerは、エッジやモバイルコンピューティングを含む幅広いシナリオにNLPが入り込むのを防ぐ。
効率的なNLP研究は、NLPのライフサイクル全体に対する計算、時間、炭素排出量を包括的に検討することを目的としている。
論文 参考訳(メタデータ) (2022-02-15T00:18:47Z) - Towards an Optimal Hybrid Algorithm for EV Charging Stations Placement
using Quantum Annealing and Genetic Algorithms [0.0]
本稿では電気自動車充電器配置(EVCP)問題を解くための良い方法を見つけることを目的とする。
著者らはこの問題を解決するために量子アニーリングと遺伝的アルゴリズムを組み合わせた小説を紹介した。
論文 参考訳(メタデータ) (2021-11-02T14:36:51Z) - Pre-Training Transformers as Energy-Based Cloze Models [95.04748595976811]
テキストによる表現学習のためのエネルギーベースクローゼモデルであるElectricを導入する。
electricはマスキングを使用しず、コンテキスト内で発生したトークンに対して完全な分散を出力しない。
ノイズコントラスト推定に基づくアルゴリズムを用いて電気を訓練し、この学習目標が最近提案されたELECTRAプリトレーニング方法と密接に関連しているかを解明する。
論文 参考訳(メタデータ) (2020-12-15T19:17:33Z) - Learning Centric Power Allocation for Edge Intelligence [84.16832516799289]
分散データを収集し、エッジで機械学習を実行するエッジインテリジェンスが提案されている。
本稿では,経験的分類誤差モデルに基づいて無線リソースを割り当てるLCPA法を提案する。
実験の結果,提案したLCPAアルゴリズムは,他のパワーアロケーションアルゴリズムよりも有意に優れていた。
論文 参考訳(メタデータ) (2020-07-21T07:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。