Fugu-MT 論文翻訳(概要): Automatic Readability Assessment of German Sentences with Transformer Ensembles

論文の概要: Automatic Readability Assessment of German Sentences with Transformer Ensembles

arxiv url: http://arxiv.org/abs/2209.04299v1
Date: Fri, 9 Sep 2022 13:47:55 GMT
ステータス: 処理完了
システム内更新日: 2022-09-12 12:41:10.897056
Title: Automatic Readability Assessment of German Sentences with Transformer Ensembles
Title（参考訳）: 変圧器を用いたドイツ語文の自動可読性評価
Authors: Patrick Gustav Blaneck, Tobias Bornheim, Niklas Grieger, Stephan Bialonski
Abstract要約: GBERTとGPT-2-Wechselモデルのアンサンブルによるドイツ語文の可読性を確実に予測する能力について検討した。 GBERT と GPT-2-Wechsel の混合アンサンブルは、GBERT と GPT-2-Wechsel のみからなる同じ大きさのアンサンブルよりも優れた性能を示した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reliable methods for automatic readability assessment have the potential to impact a variety of fields, ranging from machine translation to self-informed learning. Recently, large language models for the German language (such as GBERT and GPT-2-Wechsel) have become available, allowing to develop Deep Learning based approaches that promise to further improve automatic readability assessment. In this contribution, we studied the ability of ensembles of fine-tuned GBERT and GPT-2-Wechsel models to reliably predict the readability of German sentences. We combined these models with linguistic features and investigated the dependence of prediction performance on ensemble size and composition. Mixed ensembles of GBERT and GPT-2-Wechsel performed better than ensembles of the same size consisting of only GBERT or GPT-2-Wechsel models. Our models were evaluated in the GermEval 2022 Shared Task on Text Complexity Assessment on data of German sentences. On out-of-sample data, our best ensemble achieved a root mean squared error of 0.435.
Abstract（参考訳）: 信頼性の高い自動可読性評価手法は、機械翻訳から自己学習まで、様々な分野に影響を及ぼす可能性がある。近年、ドイツ語(GBERTやGPT-2-Wechselなど)の大規模言語モデルが利用可能となり、Deep Learningベースのアプローチが開発され、自動可読性の評価がさらに改善された。本研究では,GBERTとGPT-2-Wechselモデルのアンサンブルによるドイツ語文の可読性を確実に予測する能力について検討した。これらのモデルと言語特徴を組み合わせることにより,アンサンブルサイズと構成に対する予測性能の依存性を検討した。 GBERT と GPT-2-Wechsel の混合アンサンブルは、GBERT と GPT-2-Wechsel のみからなる同じ大きさのアンサンブルよりも優れた性能を示した。本モデルは2022年にドイツ文データを用いたテキスト複雑性評価に関する共同タスクにおいて評価された。サンプル外データでは、最良アンサンブルは0.435の根平均2乗誤差を達成した。

関連論文リスト

German Text Embedding Clustering Benchmark [0.7182245711235297]
このベンチマークは、テキストのグループ化を必要とするタスクにニューラルネットワークの埋め込みをクラスタ化する使用の増加によって駆動される。本稿では,異なるクラスタリングアルゴリズムの結果に基づいて,事前学習した単言語モデルと多言語モデルの初期解析を行う。
論文参考訳（メタデータ） (2024-01-05T08:42:45Z)
Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文参考訳（メタデータ） (2023-05-23T12:05:09Z)
Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-27T10:40:59Z)
UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
論文参考訳（メタデータ） (2023-03-02T12:18:53Z)
Automatic Generation of German Drama Texts Using Fine Tuned GPT-2 Models [3.1360838651190797]
この研究は、ドイツのドラマテキストの自動生成に向けられている。 GPT-2モデルを微調整し、キーワードに基づいてシーンの輪郭を生成する方法と、シーンの輪郭からシーンを生成する第2モデルを微調整する手法を提案する。
論文参考訳（メタデータ） (2023-01-08T23:12:46Z)
mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。事実整合性評価モデルを利用して、多言語要約を改善する。
論文参考訳（メタデータ） (2022-12-20T19:52:41Z)
A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss [17.213602354715956]
本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2022-10-19T05:33:27Z)
A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model [100.67378875773495]
本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。 NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
論文参考訳（メタデータ） (2022-01-26T02:10:32Z)
Ensemble Fine-tuned mBERT for Translation Quality Estimation [0.0]
本稿では,WMT 2021 QE共有タスクの提出について論じる。提案システムは多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。
論文参考訳（メタデータ） (2021-09-08T20:13:06Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。