Fugu-MT 論文翻訳(概要): A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss

論文の概要: A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss

arxiv url: http://arxiv.org/abs/2210.10305v1
Date: Wed, 19 Oct 2022 05:33:27 GMT
ステータス: 処理完了
システム内更新日: 2022-10-20 14:11:48.156210
Title: A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss
Title（参考訳）: 特徴投影と長さバランス損失を考慮した可読性評価のための統一ニューラルネットワークモデル
Authors: Wenbiao Li, Ziyang Wang, Yunfang Wu
Abstract要約: 本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
参考スコア（独自算出の注目度）: 17.213602354715956
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: For readability assessment, traditional methods mainly employ machine learning classifiers with hundreds of linguistic features. Although the deep learning model has become the prominent approach for almost all NLP tasks, it is less explored for readability assessment. In this paper, we propose a BERT-based model with feature projection and length-balanced loss (BERT-FP-LBL) for readability assessment. Specially, we present a new difficulty knowledge guided semi-supervised method to extract topic features to complement the traditional linguistic features. From the linguistic features, we employ projection filtering to extract orthogonal features to supplement BERT representations. Furthermore, we design a new length-balanced loss to handle the greatly varying length distribution of data. Our model achieves state-of-the-art performances on two English benchmark datasets and one dataset of Chinese textbooks, and also achieves the near-perfect accuracy of 99\% on one English dataset. Moreover, our proposed model obtains comparable results with human experts in consistency test.
Abstract（参考訳）: 可読性評価では、従来の手法は主に数百の言語的特徴を持つ機械学習分類器を使用する。ディープラーニングモデルは,ほぼすべてのNLPタスクにおいて顕著なアプローチとなっているが,可読性評価には適していない。本稿では,可読性評価のための特徴投影と長さバランス損失(BERT-FP-LBL)を用いたBERTモデルを提案する。特に,従来の言語的特徴を補完する話題の特徴を抽出する難易度知識ガイド付き半教師手法を提案する。言語的特徴から, 投影フィルタリングを用いて直交的特徴を抽出し, bert表現を補完する。さらに,データの長さ分布を大きく変化させるために,新たな長さバランス損失を設計する。本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットで最先端のパフォーマンスを達成し,1つの英語データセットにおいてほぼ完全な99\%の精度を達成する。さらに,提案モデルでは,一貫性テストにおいて,人間と同等の結果が得られる。

関連論文リスト

A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
著者の属性は、文書の起源または著者を特定することを目的としている。大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
論文参考訳（メタデータ） (2024-10-29T04:14:23Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
A deep Natural Language Inference predictor without language-specific training data [44.26507854087991]
本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
論文参考訳（メタデータ） (2023-09-06T10:20:59Z)
Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文参考訳（メタデータ） (2023-01-22T18:22:55Z)
A Transfer Learning Based Model for Text Readability Assessment in German [4.550811027560416]
移動学習に基づくドイツ語テキストのテキスト複雑性評価のための新しいモデルを提案する。最高のモデルはBERTの事前訓練言語モデルに基づいており、Root Mean Square Error (RMSE) は 0.483 である。
論文参考訳（メタデータ） (2022-07-13T15:15:44Z)
Knowledge-Rich BERT Embeddings for Readability Assessment [0.0]
本稿では,BERTモデルの情報豊富な埋め込みを共同学習手法により活用する方法を提案する。提案手法は,英語とフィリピン語のデータセットを用いた可読性評価において,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2021-06-15T07:37:48Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
論文参考訳（メタデータ） (2020-12-04T08:34:39Z)
Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文参考訳（メタデータ） (2020-11-23T16:00:42Z)
A Framework to Learn with Interpretation [2.3741312212138896]
本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。学習した機能を視覚化する詳細なパイプラインも開発されている。
論文参考訳（メタデータ） (2020-10-19T09:26:28Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。