論文の概要: Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements

• arxiv url: http://arxiv.org/abs/2609.09425v2
• Date: Thu, 10 Sep 2026 15:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 14:47:34.29833
• Title: Edu-QuRating: Multi-Dimensional Educational Data Curation with Distilled Pairwise Judgements
• Title（参考訳）: Edu-Qurating:多次元教育データキュレーション
• Authors: Oliver G. B. Garrod, Robin A. A. Ince, Meng Liu, Mohamed Huti, Moritz Boos, Amy Waldock, Dominic Andrews, Romana Alonso-Kropil, Paul Atherton,
• Abstract要約: Edu-QuRatingは多次元の教育データ収集とキュレーションのためのパイプラインである。 2つのシーケンス分類ベースモデルと6つの教育基準の中で、最高のEdu-QuRaterは平均精度0.917のGPT-4.1-miniペアの判定を回復する。
• 参考スコア（独自算出の注目度）: 2.6122490164447987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Educational data filters have become a practical way to improve language-model pre-training, but most filters treat educational value as a single scalar property. This may be too broad for some applications, especially if the data set already features a high density of educational material. Useful learning material needs to be accurate, engaging, well structured, and appropriate for the intended audience and application (e.g. learner- vs teacher-facing). Following QuRating (Wettig et al. 2024), we introduce Edu-QuRating: a pipeline for multi-dimensional educational data scoring and curation. Edu-QuRating defines education-specific rubrics, uses an LLM judge to label sampled document pairs and distills those pairwise preferences into reusable Edu-QuRaters, which can score individual text chunks on a set of educational criteria. Across two sequence-classification base models and six educational criteria, the best Edu-QuRater recovers held-out GPT-4.1-mini pairwise judgements with mean accuracy 0.917. We then apply the resulting scorers in two applications. First, we investigate the potential of Edu-QuRaters for corpus filtering to improve pretraining of small language models. We scored 322.25M FineWeb-Edu-Fortified documents to obtain a filtered pre-training mixture. In matched single-run pre-training comparisons, models trained with Edu-QuRating-based mixtures reached higher observed aggregate accuracy across nine benchmarks than the FineWeb-Edu baseline, with gains concentrated in particular tasks. Second, we used Edu-QuRater scores as reward terms for GRPO post-training. In held-out pairwise judge evaluations, combining Edu-QuRater and answer-structure rewards produced responses preferred to the Qwen3-4B base model on both pedagogical quality and instruction following.
• Abstract（参考訳）: 教育データフィルタは、言語モデル事前学習を改善するための実践的な方法となっているが、ほとんどのフィルタは、教育価値を単一のスカラー特性として扱う。 これは、特にデータセットが既に高密度の教育材料を特徴としている場合、一部のアプリケーションには広すぎるかもしれない。 有用な学習教材は、意図した聴衆とアプリケーション(例えば、学習者対教師対面)に正確で、魅力的で、十分に構造化され、適切である必要があります。 QuRating (Wettig et al 2024)に続いて、多次元の教育データスコアリングとキュレーションのためのパイプラインであるEdu-QuRatingを紹介した。 Edu-QuRatingは、教育固有のルーリックを定義し、LLMの判定器を使用してサンプル化された文書ペアをラベル付けし、それらのペアの好みを再利用可能なEdu-QuRatersに蒸留する。 2つのシーケンス分類ベースモデルと6つの教育基準の中で、最高のEdu-QuRaterは平均精度0.917のGPT-4.1-miniペアの判定を回復する。 次に、結果のスコアを2つのアプリケーションに適用する。 まず,小言語モデルの事前学習を改善するために,コーパスフィルタリングにおけるEdu-QuRatersの可能性を検討する。 322.25万のFineWeb-Edu-Fortified文書を抽出し,フィルタした事前学習混合物を得た。 一致した単ランプレトレーニング比較では、Edu-QuRatingをベースとした混合物で訓練したモデルは、FinWeb-Eduベースラインよりも9つのベンチマークで観察された集計精度が高く、特定のタスクに集中している。 次に,GRPOポストトレーニングの報奨語としてEdu-QuRaterスコアを用いた。 Edu-QuRaterとQwen3-4Bベースモデルに好適な応答が得られた。

関連論文リスト

• Text-Based Approaches to Item Alignment to Content Standards in Large-Scale Reading & Writing Tests [16.474453687125948]
  本研究では、自動項目アライメントのための微調整小言語モデル(SLM)の性能について検討した。 学習用入力データの種類とサイズが与える影響について検討した。 その結果、微調整されたSLMは埋め込みベースの教師あり機械学習モデルよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-09-30T15:53:22Z)
• Checklists Are Better Than Reward Models For Aligning Language Models [99.1896531064102]
  チェックリストフィードバックからの強化学習(RLCF)を提案する。 指示からチェックリストを抽出し,各項目の応答がどの程度満足するかを評価する。 これらのスコアをAI判断器と特殊検証器プログラムの両方を用いて組み合わせ、RLの報酬を計算する。
  論文  参考訳（メタデータ） (2025-07-24T17:58:00Z)
• Towards Better Instruction Following Retrieval Models [30.99867106106421]
  InF-IRは,Instruction-Following IRにおける検索モデルの強化に適した,大規模で高品質なトレーニングコーパスである。 InF-IRは従来のトレーニングペアを38,000以上の表現型命令、クエリ、パス>三つ子に正のサンプルとして拡張する。 命令とクエリの両方を毒殺した後、高度推論モデル(o3-mini)によって厳密に検証し、命令の不正確性を保ちながら意味的妥当性を保証する。
  論文  参考訳（メタデータ） (2025-05-27T17:14:37Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• QuRating: Selecting High-Quality Data for Training Language Models [64.83332850645074]
  データ品質に関する人間の直感をキャプチャできる事前学習データを選択するQuRatingを導入する。 本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。 ペアの判断からスカラー評価を学習するためにQurモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
  論文  参考訳（メタデータ） (2024-02-15T06:36:07Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。