Fugu-MT 論文翻訳(概要): Pillars of Grammatical Error Correction: Comprehensive Inspection Of Contemporary Approaches In The Era of Large Language Models

論文の概要: Pillars of Grammatical Error Correction: Comprehensive Inspection Of Contemporary Approaches In The Era of Large Language Models

arxiv url: http://arxiv.org/abs/2404.14914v1
Date: Tue, 23 Apr 2024 10:57:59 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 14:31:13.186073
Title: Pillars of Grammatical Error Correction: Comprehensive Inspection Of Contemporary Approaches In The Era of Large Language Models
Title（参考訳）: 文法的誤り訂正の柱:大規模言語モデルの時代における現代的アプローチの包括的検査
Authors: Kostiantyn Omelianchuk, Andrii Liubonko, Oleksandr Skurzhanskyi, Artem Chernodub, Oleksandr Korniienko, Igor Samokhin,
Abstract要約: 我々は,CoNLL-2014-testでF_0.5スコア72.8,BEA-testで81.4,最先端のパフォーマンスを新たに設定した。 GECのさらなる進歩をサポートするため、コード、訓練されたモデル、システムのアウトプットを公開しています。
参考スコア（独自算出の注目度）: 27.25837009922596
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we carry out experimental research on Grammatical Error Correction, delving into the nuances of single-model systems, comparing the efficiency of ensembling and ranking methods, and exploring the application of large language models to GEC as single-model systems, as parts of ensembles, and as ranking methods. We set new state-of-the-art performance with F_0.5 scores of 72.8 on CoNLL-2014-test and 81.4 on BEA-test, respectively. To support further advancements in GEC and ensure the reproducibility of our research, we make our code, trained models, and systems' outputs publicly available.
Abstract（参考訳）: 本稿では, 文法的誤り訂正実験を行い, 単一モデルのニュアンスを掘り下げ, アンサンブル法とランキング法の効率を比較し, GEC への大規模言語モデルの適用を単一モデルシステムとして, アンサンブルの一部, ランキング法として検討する。また,CoNLL-2014テストでは72.8点,BEA-testでは81.4点,F_0.5スコアでは81.4点とした。 GECのさらなる進歩を支援し、我々の研究の再現性を確保するために、コード、訓練されたモデル、システムのアウトプットを公開しています。

関連論文リスト

The OCON model: an old but gold solution for distributable supervised classification [0.28675177318965045]
本稿では,教師付き分類タスクに対するワンクラスアプローチとワンクラスネットワークモデルの構造的応用について紹介する。現在の複雑なアーキテクチャ(90.0～93.7%)に匹敵する分類精度を実現する。
論文参考訳（メタデータ） (2024-10-05T09:15:01Z)
Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
論文参考訳（メタデータ） (2024-10-02T20:48:28Z)
Assessing Code Generation with Intermediate Languages [6.999311675957218]
本研究では、様々なプログラミング言語、自然言語ソリューション、擬似コードを含む中間言語の利用について検討する。以上の結果から, 中間言語は一般に, 最先端性能を達成できていない大規模モデルにおいて, 高い有効性を示すことが明らかとなった。
論文参考訳（メタデータ） (2024-07-07T15:35:41Z)
Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
論文参考訳（メタデータ） (2024-07-03T15:01:18Z)
Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification [4.4467858321751015]
異なるアーキテクチャとスコアリング関数を用いて、77Mから40Bパラメータの言語モデルをベンチマークする。この結果から、小さなモデルはテキストを効果的に分類し、より大きなテキストに匹敵するか、上回っていることが明らかとなった。この研究は、大きめが常に良いとは限らないという考えを強調し、リソース効率の良い小さなモデルが特定のデータ分類の課題に対して実行可能なソリューションを提供するかもしれないことを示唆している。
論文参考訳（メタデータ） (2024-04-17T07:10:28Z)
Assessing generalization capability of text ranking models in Polish [0.0]
Retrieval-augmented Generation (RAG) は、内部知識ベースと大規模言語モデルを統合する技術として、ますます人気が高まっている。本稿では,ポーランド語におけるリランク問題に着目し,リランカーの性能について検討する。私たちのモデルの中で最高のものは、ポーランド語で再ランク付けするための新しい最先端技術を確立し、最大30倍のパラメータを持つ既存のモデルよりも優れています。
論文参考訳（メタデータ） (2024-02-22T06:21:41Z)
Unsupervised Lexical Simplification with Context Augmentation [55.318201742039]
対象単語とその文脈が与えられた場合、対象コンテキストと単言語データからサンプル化した追加コンテキストに基づいて置換語を生成する。我々は、TSAR-2022共有タスクにおいて、英語、ポルトガル語、スペイン語で実験を行い、我々のモデルは、すべての言語で、他の教師なしシステムよりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-11-01T05:48:05Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文参考訳（メタデータ） (2023-01-27T18:59:01Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)
Comparative Study of Language Models on Cross-Domain Data with Model Agnostic Explainability [0.0]
この研究は、最先端の言語モデルであるBERT、ELECTRAとその派生品であるRoBERTa、ALBERT、DistilBERTを比較した。実験結果は、2013年の格付けタスクとフィナンシャル・フレーズバンクの感情検出タスクの69%、そして88.2%の精度で、新たな最先端の「評価タスク」を確立した。
論文参考訳（メタデータ） (2020-09-09T04:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。