論文の概要: Ensemble Distillation Approaches for Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2012.07535v2
• Date: Tue, 15 Dec 2020 09:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:08:58.877576
• Title: Ensemble Distillation Approaches for Grammatical Error Correction
• Title（参考訳）: アンサンブル蒸留法による文法誤差補正
• Authors: Yassir Fathullah, Mark Gales, Andrey Malinin
• Abstract要約: アンサンブル蒸留(EnD)とアンサンブル分配蒸留(EnDD)は、アンサンブルを1つのモデルに圧縮するために提案されている。 本稿では,これら2つの蒸留手法のシーケンス予測タスク,文法的誤り訂正(GEC)への適用について検討する。 しかしながら、単語に対する文法的訂正の予測は、単語の入力シーケンスと生成された出力履歴の両方に大きく依存するので、蒸留のために調査された標準タスクよりも難しい。
• 参考スコア（独自算出の注目度）: 18.81579562876076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble approaches are commonly used techniques to improving a system by combining multiple model predictions. Additionally these schemes allow the uncertainty, as well as the source of the uncertainty, to be derived for the prediction. Unfortunately these benefits come at a computational and memory cost. To address this problem ensemble distillation (EnD) and more recently ensemble distribution distillation (EnDD) have been proposed that compress the ensemble into a single model, representing either the ensemble average prediction or prediction distribution respectively. This paper examines the application of both these distillation approaches to a sequence prediction task, grammatical error correction (GEC). This is an important application area for language learning tasks as it can yield highly useful feedback to the learner. It is, however, more challenging than the standard tasks investigated for distillation as the prediction of any grammatical correction to a word will be highly dependent on both the input sequence and the generated output history for the word. The performance of both EnD and EnDD are evaluated on both publicly available GEC tasks as well as a spoken language task.
• Abstract（参考訳）: アンサンブルアプローチは、複数のモデル予測を組み合わせることでシステムを改善するために一般的に使用される手法である。 さらに、これらのスキームは不確実性や不確実性の原因を予測のために導出することができる。 残念ながら、これらの利点は計算とメモリのコストがかかる。 この問題を解決するために、アンサンブル蒸留(end)とより最近ではアンサンブル分布蒸留(endd)が提案されており、アンサンブル平均予測と予測分布の両方を表す単一のモデルに圧縮されている。 本稿では,これら2つの蒸留手法のシーケンス予測タスク,文法的誤り訂正(GEC)への適用について検討する。 これは、学習者に非常に有用なフィードバックを与えることができるため、言語学習タスクにとって重要な応用領域である。 しかし、単語に対する文法的修正の予測は、単語の入力シーケンスと生成した出力履歴の両方に非常に依存するので、蒸留のために検討された標準的なタスクよりも難しい。 EnDとEnDDの両方の性能は、公用GECタスクと音声言語タスクの両方で評価される。

関連論文リスト

• Ensemble Predicate Decoding for Unbiased Scene Graph Generation [40.01591739856469]
  シーングラフ生成(SGG)は、与えられたシナリオの意味情報をキャプチャする包括的なグラフィカル表現を生成することを目的としている。 よりきめ細かい述語を予測する際のモデルの性能は、有意な述語バイアスによって妨げられる。 本稿では,複数のデコーダを用いて非バイアスなシーングラフ生成を実現するEnsemble Predicate Decoding (EPD)を提案する。
  論文  参考訳（メタデータ） (2024-08-26T11:24:13Z)
• Grammatical Error Correction via Mixed-Grained Weighted Training [68.94921674855621]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、自然文における文法的誤りを自動的に補正することを目的としている。 MainGECは、データアノテーションの正確性と潜在的な多様性の固有の相違に基づいて、トークンレベルおよび文レベルトレーニングウェイトを設計する。
  論文  参考訳（メタデータ） (2023-11-23T08:34:37Z)
• Functional Ensemble Distillation [18.34081591772928]
  本研究では,効率的なモデルを用いて,アンサンブルの予測を最もよく蒸留する方法を検討する。 混合増量方式による簡易増量方式による蒸留モデルの学習により, 性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-06-05T14:07:17Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction [83.14159143179269]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。 本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。 我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
  論文  参考訳（メタデータ） (2021-11-05T07:07:48Z)
• Explain and Predict, and then Predict Again [6.865156063241553]
  説明生成フェーズにおけるマルチタスク学習を用いたExPredを、効果的なトレードオフ説明と予測損失として提案します。 3つの多様な言語データセットに対するアプローチを幅広く評価しています。
  論文  参考訳（メタデータ） (2021-01-11T19:36:52Z)
• The Extraordinary Failure of Complement Coercion Crowdsourcing [50.599433903377374]
  クラウドソーシングは近年,言語アノテーションの収集を緩和し,スケールアップしている。 本研究の目的は,この現象の注釈付きデータを2つの既知のタスク – 明示的補完と自然言語推論 – に還元することで収集することである。 どちらの場合も、クラウドソーシングは合意のスコアが低かった。
  論文  参考訳（メタデータ） (2020-10-12T19:04:04Z)
• Improving the Efficiency of Grammatical Error Correction with Erroneous Span Detection and Correction [106.63733511672721]
  ESD(Eroneous Span Detection)とESC(Eroneous Span Correction)の2つのサブタスクに分割することで、文法的誤り訂正(GEC)の効率を改善するための言語に依存しない新しいアプローチを提案する。 ESDは、効率的なシーケンスタグ付けモデルを用いて文法的に誤りテキストスパンを識別する。ESCは、Seq2seqモデルを利用して、注釈付き誤字スパンの文を入力として取り、これらのスパンの修正テキストのみを出力する。 実験の結果,提案手法は英語と中国語のGECベンチマークにおいて従来のセク2seq手法と同等に動作し,推論に要するコストは50%以下であった。
  論文  参考訳（メタデータ） (2020-10-07T08:29:11Z)
• Efficient Conformal Prediction via Cascaded Inference with Expanded Admission [43.596058175459746]
  共形予測(CP)のための新しい手法を提案する。 我々は、単一の予測の代わりに、予測候補のセットを特定することを目指している。 この集合は、高い確率で正しい答えを含むことが保証される。
  論文  参考訳（メタデータ） (2020-07-06T23:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。