論文の概要: Flesch or Fumble? Evaluating Readability Standard Alignment of Instruction-Tuned Language Models

• arxiv url: http://arxiv.org/abs/2309.05454v2
• Date: Fri, 3 Nov 2023 21:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 21:02:48.055905
• Title: Flesch or Fumble? Evaluating Readability Standard Alignment of Instruction-Tuned Language Models
• Title（参考訳）: FleschかFumbleか? 命令型言語モデルの可読性標準アライメントの評価
• Authors: Joseph Marvin Imperial, Harish Tayyar Madabushi
• Abstract要約: 各種のオープンソース・クローズド・ソース・インストラクション・チューニング言語モデルを選択し、ストーリー・コンプリートの作成や物語の簡略化におけるそれらの性能について検討する。 以上の結果から,ChatGPTのような世界規模で認識されているモデルがより効果的であり,これらの生成タスクに対してより洗練されたプロンプトを必要とする可能性が示唆された。
• 参考スコア（独自算出の注目度）: 4.867923281108005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Readability metrics and standards such as Flesch Kincaid Grade Level (FKGL) and the Common European Framework of Reference for Languages (CEFR) exist to guide teachers and educators to properly assess the complexity of educational materials before administering them for classroom use. In this study, we select a diverse set of open and closed-source instruction-tuned language models and investigate their performances in writing story completions and simplifying narratives--tasks that teachers perform--using standard-guided prompts controlling text readability. Our extensive findings provide empirical proof of how globally recognized models like ChatGPT may be considered less effective and may require more refined prompts for these generative tasks compared to other open-sourced models such as BLOOMZ and FlanT5--which have shown promising results.
• Abstract（参考訳）: flesch kincaid grade level (fkgl) やcommon european framework of reference for languages (cefr) といった可読性指標や標準は、教師や教育者が教育教材の複雑さを適切に評価するために教室で使用するために使用される。 本研究では,様々なオープン・クローズド・ソース・インストラクション・チューニング言語モデルを選択し,教師がテキスト可読性を制御する標準ガイドプロンプトを用いて,ストーリーの完成と物語の単純化におけるパフォーマンスについて検討する。 以上の結果から,ChatGPTのような世界規模で認識されているモデルは,BLOOMZやFlanT5といった他のオープンソースモデルと比較して,これらの生成タスクに対してより洗練されたプロンプトを必要とする可能性が示唆された。

関連論文リスト

• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• Standardize: Aligning Language Models with Expert-Defined Standards for Content Generation [3.666326242924816]
  専門家が定義した標準に合わせるために,大規模な言語モデルをガイドする,検索スタイルのインコンテキスト学習ベースのフレームワークであるStandardizeを導入する。 その結果,オープンおよび商用LCMの精度が45%から100%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-02-19T23:18:18Z)
• Controllable Speaking Styles Using a Large Language Model [13.642358232817342]
  Text-to-Speech (TTS) モデルは、同じターゲットテキストの複数の、韻律的に異なる変換を生成することができる。 現在、推論中にこれらのモデルを制御するには、一般的に適切な参照発話を見つける必要がある。 ここでは、話し方の制御と、ある対話文脈に適した韻律の2つの実演を行う。
  論文  参考訳（メタデータ） (2023-05-17T16:01:50Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。