論文の概要: Prompt-based Learning for Text Readability Assessment
- arxiv url: http://arxiv.org/abs/2302.13139v2
- Date: Sun, 16 Jun 2024 22:50:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 13:20:03.816965
- Title: Prompt-based Learning for Text Readability Assessment
- Title（参考訳）: テキスト可読性評価のためのプロンプトに基づく学習
- Authors: Bruce W. Lee, Jason Hyung-Jong Lee,
- Abstract要約: 可読性評価のための事前学習されたSeq2seqモデルの新規適応を提案する。
与えられた2つのテキストからより難しいテキストを区別するために、Seq2seqモデルを適用できることを実証する。
- 参考スコア（独自算出の注目度）: 0.4757470449749875
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose the novel adaptation of a pre-trained seq2seq model for readability assessment. We prove that a seq2seq model - T5 or BART - can be adapted to discern which text is more difficult from two given texts (pairwise). As an exploratory study to prompt-learn a neural network for text readability in a text-to-text manner, we report useful tips for future work in seq2seq training and ranking-based approach to readability assessment. Specifically, we test nine input-output formats/prefixes and show that they can significantly influence the final model performance. Also, we argue that the combination of text-to-text training and pairwise ranking setup 1) enables leveraging multiple parallel text simplification data for teaching readability and 2) trains a neural model for the general concept of readability (therefore, better cross-domain generalization). At last, we report a 99.6% pairwise classification accuracy on Newsela and a 98.7% for OneStopEnglish, through a joint training approach.
- Abstract（参考訳）: 可読性評価のための事前学習されたSeq2seqモデルの新規適応を提案する。
セq2seqモデル – T5 あるいは BART – が、与えられた2つのテキスト (ペアワイズ) から、どのテキストが困難であるかを識別できるように適応できることを実証する。
テキスト読みやすさのためのニューラルネットワークをテキストからテキストに書き起こすための探索的研究として,Seq2seqトレーニングとランキングに基づく読みやすさ評価のアプローチにおいて,今後の研究に役立つヒントを報告する。
具体的には,9つの入力出力フォーマット/プレフィックスをテストし,最終的なモデル性能に大きな影響を与えることを示す。
また、テキスト・ツー・テキスト・トレーニングとペア・ランキング・セットアップの組み合わせについて論じる。
1) 可読性を教えるために複数の並列テキスト単純化データを活用すること。
2) 可読性(以前のクロスドメインの一般化)の一般的な概念のためにニューラルモデルを訓練する。
最終的に、Newselaの99.6%、OneStop Englishの98.7%のペアの分類精度を共同トレーニングアプローチで報告した。
関連論文リスト
- Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt
Learning with Data-Dependent Prior [14.232144691524528]
最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。
MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。
本稿では,素早い学習のためのベイズ的枠組みを提案する。
論文 参考訳（メタデータ） (2024-01-09T10:15:59Z) - LC-Score: Reference-less estimation of Text Comprehension Difficulty [0.0]
我々は、参照なしのフランス語テキストに対して、テキスト理解度を訓練するための簡単なアプローチであるtextscLC-Scoreを提示する。
我々の目的は,テキストがtextitLangage Clair (LC, textitClear Language) ガイドラインに適合する範囲を定量的に把握することである。
i) 統計モデルの学習に使用される言語的動機付け指標を使用すること,(ii) 事前学習された言語モデルを利用したテキストから直接ニューラルラーニングを行うこと,の2つのアプローチを探索する。
論文 参考訳（メタデータ） (2023-10-04T11:49:37Z) - Prefer to Classify: Improving Text Classifiers via Auxiliary Preference
Learning [76.43827771613127]
本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。
本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T04:04:47Z) - JOIST: A Joint Speech and Text Streaming Model For ASR [63.15848310748753]
JOISTは、音声テキストのペア入力とテキストのみのアンペア入力の両方で、ストリーミング、カスケード、エンコーダエンドツーエンド(E2E)モデルを訓練するアルゴリズムである。
JOISTの最良のテキスト表現は、テキストで訓練されていないモデルと比較して、様々な検索およびレアワードテストセットのWERを4-14%改善することがわかった。
論文 参考訳（メタデータ） (2022-10-13T20:59:22Z) - Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。
我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
論文 参考訳（メタデータ） (2022-10-09T15:40:13Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳（メタデータ） (2022-10-03T17:56:35Z) - Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。
並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。
テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
論文 参考訳（メタデータ） (2022-04-15T07:38:08Z) - Text and Code Embeddings by Contrastive Pre-Training [15.099849247795714]
教師なしデータに対する対照的な事前学習は、テキストとコードの高品質なベクトル表現につながることを示す。
線形プローブ分類における新しい最先端結果を実現するような教師なしのテキスト埋め込みも同様に、印象的なセマンティック検索機能も備えている。
論文 参考訳（メタデータ） (2022-01-24T23:36:20Z) - UPB at SemEval-2021 Task 1: Combining Deep Learning and Hand-Crafted
Features for Lexical Complexity Prediction [0.7197592390105455]
本稿では,SemEval-2021 Task 1: Lexical Complexity Prediction competitionについて述べる。
私たちの結果は、第1および第2サブタスクの競争で得られたトップスコアよりもわずか5.46%と6.5%低いです。
論文 参考訳（メタデータ） (2021-04-14T17:05:46Z) - Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。
既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。
事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文 参考訳（メタデータ） (2020-12-28T06:48:04Z) - Transliteration of Judeo-Arabic Texts into Arabic Script Using Recurrent
Neural Networks [1.933681537640272]
我々は、ユダヤ・アラビア文字をアラビア語の文字に自動翻訳するモデルを訓練する。
我々は、リカレントニューラルネットワーク(RNN)とコネクショニスト時間分類(CTC)の損失を併用して、不平等な入出力長を扱う。
ベースラインの9.5%の文字エラーに対して改善を行い、最高の設定で2%のエラーを達成した。
論文 参考訳（メタデータ） (2020-04-23T18:03:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。