論文の概要: Knowledge-Rich BERT Embeddings for Readability Assessment

• arxiv url: http://arxiv.org/abs/2106.07935v1
• Date: Tue, 15 Jun 2021 07:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 02:47:11.981553
• Title: Knowledge-Rich BERT Embeddings for Readability Assessment
• Title（参考訳）: 可読性評価のための知識リッチBERT埋め込み
• Authors: Joseph Marvin Imperial
• Abstract要約: 本稿では,BERTモデルの情報豊富な埋め込みを共同学習手法により活用する方法を提案する。 提案手法は,英語とフィリピン語のデータセットを用いた可読性評価において,従来の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic readability assessment (ARA) is the task of evaluating the level of ease or difficulty of text documents for a target audience. For researchers, one of the many open problems in the field is to make such models trained for the task show efficacy even for low-resource languages. In this study, we propose an alternative way of utilizing the information-rich embeddings of BERT models through a joint-learning method combined with handcrafted linguistic features for readability assessment. Results show that the proposed method outperforms classical approaches in readability assessment using English and Filipino datasets, and obtaining as high as 12.4% increase in F1 performance. We also show that the knowledge encoded in BERT embeddings can be used as a substitute feature set for low-resource languages like Filipino with limited semantic and syntactic NLP tools to explicitly extract feature values for the task.
• Abstract（参考訳）: 自動可読性評価(ARA)は、対象読者に対するテキスト文書の読みやすさや難易度を評価するタスクである。 研究者にとって、この分野における多くのオープンな問題の1つは、低リソース言語においても、タスクのためにトレーニングされたモデルが有効性を示すことである。 本研究では,BERTモデルの情報豊富な埋め込みを,手作業による言語的特徴と組み合わせて,可読性評価を行う手法を提案する。 提案手法は、英語とフィリピンのデータセットを用いた可読性評価における古典的手法よりも優れており、F1の性能は最大12.4%向上している。 また、BERT埋め込みに符号化された知識は、フィリピンのような低リソース言語において、タスクの特徴値を明示的に抽出するためのセマンティックおよび構文的NLPツールの代替機能セットとして使用できることを示す。

関連論文リスト

• BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings [0.4194295877935868]
  埋め込みの選択は、NLPタスクのパフォーマンス向上に重要な役割を果たす。 本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-26T18:25:57Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• FecTek: Enhancing Term Weight in Lexicon-Based Retrieval with Feature Context and Term-level Knowledge [54.61068946420894]
  FEature Context と TErm レベルの知識モジュールを導入して,革新的な手法を提案する。 項重みの特徴コンテキスト表現を効果的に強化するために、FCM(Feature Context Module)が導入された。 また,用語レベルの知識を効果的に活用し,用語重みのモデル化プロセスをインテリジェントに導くための用語レベルの知識誘導モジュール(TKGM)を開発した。
  論文  参考訳（メタデータ） (2024-04-18T12:58:36Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• Automatic Readability Assessment for Closely Related Languages [6.233117407988574]
  この研究は、相互の知性や言語関連度などの言語的側面が、低リソース環境でのARAをどのように改善できるかに焦点を当てる。 フィリピン・タガログ語・ビコル語・セブアーノ語の3言語で書かれた短い記事を収集し,読みやすさ評価モデルを構築した。 本研究は, 相互信頼度の高い言語にn-gram重み付けを適用した新たな機能であるCrossNGOの導入により, ARAモデルの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-05-22T20:42:53Z)
• A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss [17.213602354715956]
  本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。 本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-19T05:33:27Z)
• BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
  BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。 本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
  論文  参考訳（メタデータ） (2022-01-10T15:05:05Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• Fantastic Features and Where to Find Them: Detecting Cognitive Impairment with a Subsequence Classification Guided Approach [6.063165888023164]
  本稿では、逐次機械学習モデルとドメイン知識を活用して、パフォーマンス向上に役立つ機能を予測する機能エンジニアリングの新しいアプローチについて説明する。 本手法により得られた特徴を用いた場合,CI分類精度が強いベースラインよりも2.3%向上することが実証された。
  論文  参考訳（メタデータ） (2020-10-13T17:57:18Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。