論文の概要: Calibrating Generative AI to Produce Realistic Essays for Data Augmentation

• arxiv url: http://arxiv.org/abs/2602.06772v1
• Date: Fri, 06 Feb 2026 15:27:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.442619
• Title: Calibrating Generative AI to Produce Realistic Essays for Data Augmentation
• Title（参考訳）: 生成AIのキャリブレーションによるデータ拡張のためのリアルな評価
• Authors: Edward W. Wolfe, Justin O. Barber,
• Abstract要約: データ拡張は、構築された応答項目のための機械学習自動スコアリングエンジンにおける限られたトレーニングデータを緩和することができる。 本研究では,大規模言語モデルに対する3つのアプローチが,本来のエッセイの質を保ったエッセイを作成し,トレーニングデータセットを増強するための現実的なテキストを生成するのに有効かを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data augmentation can mitigate limited training data in machine-learning automated scoring engines for constructed response items. This study seeks to determine how well three approaches to large language model prompting produce essays that preserve the writing quality of the original essays and produce realistic text for augmenting ASE training datasets. We created simulated versions of student essays, and human raters assigned scores to them and rated the realism of the generated text. The results of the study indicate that the predict next prompting strategy produces the highest level of agreement between human raters regarding simulated essay scores, predict next and sentence strategies best preserve the rated quality of the original essay in the simulated essays, and predict next and 25 examples strategies produce the most realistic text as judged by human raters.
• Abstract（参考訳）: データ拡張は、構築された応答項目のための機械学習自動スコアリングエンジンにおける限られたトレーニングデータを緩和することができる。 本研究では,大規模な言語モデルに対する3つのアプローチが,オリジナルのエッセイの文章の質を保ち,ASE学習データセットを増強するための現実的なテキストを生成するエッセイをいかに効果的に生成するかを検討する。 我々は,学生エッセイの模擬版を作成し,人間のラテンダーがスコアを割り当て,生成されたテキストのリアリズムを評価した。 本研究の結果から, シミュレーションエッセイスコアに関するヒトのラテンダー間の合意の最高レベル, シミュレーションエッセイにおける本来のエッセイの質を最良に保ち, 人間のラテンダーが判断する最も現実的なテキストを, 次と25の例で予測できることが示唆された。

関連論文リスト

• Enhancing Essay Cohesion Assessment: A Novel Item Response Theory Approach [0.7845950813414773]
  本研究では,項目応答理論に基づく凝集点予測手法の提案と解析を行う。 提案手法は,従来の機械学習モデルとアンサンブル手法を,いくつかの評価指標で比較した。
  論文  参考訳（メタデータ） (2025-07-11T11:05:27Z)
• Machine-assisted writing evaluation: Exploring pre-trained language models in analyzing argumentative moves [28.01557438111706]
  縦型学習者コーパスにおける議論行動解析における事前学習言語モデル(PLM)の有効性について検討した。 1643年、中国の235人の英語学習者から引用文の長手コーパスが収集され、6つの移動タイプに注釈付けされる。 その結果,PLMの信頼性は,F1スコアが0.743であり,既存のモデルを上回った。
  論文  参考訳（メタデータ） (2025-03-25T02:21:12Z)
• SimOAP: Improve Coherence and Consistency in Persona-based Dialogue Generation via Over-sampling and Post-evaluation [54.66399120084227]
  大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。 ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。 オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
  論文  参考訳（メタデータ） (2023-05-18T17:23:00Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Toward Fairness in Text Generation via Mutual Information Minimization based on Importance Sampling [23.317845744611375]
  そこで本研究では,生成した文のセマンティクスと人口極性との間の相互情報の最小化を提案する。 このように、人口集団の言及は、生成したテキストに記述される方法から独立することが奨励される。 また, 脱バイアス後のPLMの言語モデリング能力を維持する蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-02-25T18:29:02Z)
• MOCHA: A Multi-Task Training Approach for Coherent Text Generation from Cognitive Perspective [22.69509556890676]
  本稿では,文章の認知理論に基づくコヒーレントテキスト生成のための新しいマルチタスク学習戦略を提案する。 我々は,物語生成,ニュース記事作成,議論生成という3つのオープンエンド世代タスクに対して,我々のモデルを広範囲に評価する。
  論文  参考訳（メタデータ） (2022-10-26T11:55:41Z)
• Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
  まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。 そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:22:43Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。