Fugu-MT 論文翻訳(概要): Efficient transfer learning for NLP with ELECTRA

論文の概要: Efficient transfer learning for NLP with ELECTRA

arxiv url: http://arxiv.org/abs/2104.02756v1
Date: Tue, 6 Apr 2021 19:34:36 GMT
ステータス: 処理完了
システム内更新日: 2021-04-09 02:51:31.593554
Title: Efficient transfer learning for NLP with ELECTRA
Title（参考訳）: ELECTRAを用いたNLPの効率的な伝達学習
Authors: Fran\c{c}ois Mercier
Abstract要約: ELECTRAアプローチは予算に対するNLPパフォーマンスで非常に効率的です。計算コストの面で、低リソース設定でNLPのSOTA性能に近づけるためにELECTRAを使用できますか?
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clark et al. [2020] claims that the ELECTRA approach is highly efficient in NLP performances relative to computation budget. As such, this reproducibility study focus on this claim, summarized by the following question: Can we use ELECTRA to achieve close to SOTA performances for NLP in low-resource settings, in term of compute cost?
Abstract（参考訳）: Clarkら。 [2020] は計算予算に対する NLP 性能において ELECTRA アプローチは高い効率であると主張している。 ELECTRAを用いて低リソース環境でのNLPのSOTA性能に近い性能を計算コストの観点から実現できるか?

関連論文リスト

TinyML NLP Approach for Semantic Wireless Sentiment Classification [49.801175302937246]
本稿では,エネルギー効率のよいプライバシ保護型小型機械学習(MLTiny)方式としてスプリットラーニング(SL)を導入する。その結果,SLは高い精度を維持しながら処理能力とCO2排出量を低減し,FLは効率とプライバシのバランスのとれた妥協を提供することがわかった。
論文参考訳（メタデータ） (2024-11-09T21:26:59Z)
VickreyFeedback: Cost-efficient Data Construction for Reinforcement Learning from Human Feedback [2.07180164747172]
本稿では,RLHF(Reinforcement Learning from Human Feedback)の費用対効果について述べる。 RLHFは、大きな言語モデル(LLM)の出力よりも人間の好みのデータセットを活用して、人間の期待をLLMに注入する。提案手法の導入は, 良好なモデル性能を維持しつつ, RLHFのコスト効率を高める上で重要な役割を担っていることを示す。
論文参考訳（メタデータ） (2024-09-27T03:15:07Z)
Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
論文参考訳（メタデータ） (2024-07-15T17:59:29Z)
Resource-Optimized Grouping Shadow for Efficient Energy Estimation [2.5636932629466735]
本稿では,新たな重なり合うグループ化戦略と凸最適化による推定誤差を最小化することにより,測定資源を最適に割り当てるリソース・ド・グルーピング・シャドー(ROGS)アルゴリズムを提案する。数値実験により, ROGS は, 量子コンピュータ上での回路のコンパイル・実行に要するコスト要因に対処するため, 従来手法に比べて, 精度の高い推定精度の確保に要する量子回路を著しく少なくすることを示した。
論文参考訳（メタデータ） (2024-06-25T03:37:35Z)
A Survey on Transformers in NLP with Focus on Efficiency [2.7651063843287718]
本稿では,NLPの進化とその応用について,その精度を有効性として論じる。本調査の目的は,現在のNLP技術が持続可能な社会にどのように貢献するかを明らかにすることである。
論文参考訳（メタデータ） (2024-05-15T10:32:41Z)
Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-10-18T03:34:59Z)
Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
論文参考訳（メタデータ） (2023-09-04T09:34:33Z)
A Deep Reinforcement Learning-Based Charging Scheduling Approach with Augmented Lagrangian for Electric Vehicle [2.686271754751717]
本稿では,EV充電スケジューリング問題を制約付きマルコフ決定過程(CMDP)として定式化する。本稿では, CMDP を解くために, 安全な非政治強化学習(RL)手法を提案する。実世界の電力価格を用いた総合的な数値実験により,提案アルゴリズムは高解最適性と制約コンプライアンスを実現することができることを示した。
論文参考訳（メタデータ） (2022-09-20T14:56:51Z)
Efficient Methods for Natural Language Processing: A Survey [76.34572727185896]
本研究は, 効率的なNLPにおける現在の手法と知見を合成し, 関連づけるものである。我々は,限られた資源下でNLPを実施するためのガイダンスと,より効率的な手法を開発するための有望な研究方向性の両立を目指す。
論文参考訳（メタデータ） (2022-08-31T20:32:35Z)
A Survey on Model Compression for Natural Language Processing [13.949219077548687]
Transformerは、エッジやモバイルコンピューティングを含む幅広いシナリオにNLPが入り込むのを防ぐ。効率的なNLP研究は、NLPのライフサイクル全体に対する計算、時間、炭素排出量を包括的に検討することを目的としている。
論文参考訳（メタデータ） (2022-02-15T00:18:47Z)
Pre-Training Transformers as Energy-Based Cloze Models [95.04748595976811]
テキストによる表現学習のためのエネルギーベースクローゼモデルであるElectricを導入する。 electricはマスキングを使用しず、コンテキスト内で発生したトークンに対して完全な分散を出力しない。ノイズコントラスト推定に基づくアルゴリズムを用いて電気を訓練し、この学習目標が最近提案されたELECTRAプリトレーニング方法と密接に関連しているかを解明する。
論文参考訳（メタデータ） (2020-12-15T19:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。