論文の概要: Language Models are Few-Shot Graders

• arxiv url: http://arxiv.org/abs/2502.13337v1
• Date: Tue, 18 Feb 2025 23:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:38.448722
• Title: Language Models are Few-Shot Graders
• Title（参考訳）: 言語モデルは少しショットグレーダーです
• Authors: Chenyan Zhao, Mariana Silva, Seth Poulsen,
• Abstract要約: 我々は最先端のLCMを利用したASAGパイプラインを提案する。 GPT-4、GPT-4o、o1-previewの3つのOpenAIモデルのグレーディング性能を比較した。 以上の結果より,RAGによる選択はランダム選択よりも優れており,グレードドドサンプルを提供することでグレーディング精度が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 0.12289361708127876
• License:
• Abstract: Providing evaluations to student work is a critical component of effective student learning, and automating its process can significantly reduce the workload on human graders. Automatic Short Answer Grading (ASAG) systems, enabled by advancements in Large Language Models (LLMs), offer a promising solution for assessing and providing instant feedback for open-ended student responses. In this paper, we present an ASAG pipeline leveraging state-of-the-art LLMs. Our new LLM-based ASAG pipeline achieves better performances than existing custom-built models on the same datasets. We also compare the grading performance of three OpenAI models: GPT-4, GPT-4o, and o1-preview. Our results demonstrate that GPT-4o achieves the best balance between accuracy and cost-effectiveness. On the other hand, o1-preview, despite higher accuracy, exhibits a larger variance in error that makes it less practical for classroom use. We investigate the effects of incorporating instructor-graded examples into prompts using no examples, random selection, and Retrieval-Augmented Generation (RAG)-based selection strategies. Our findings indicate that providing graded examples enhances grading accuracy, with RAG-based selection outperforming random selection. Additionally, integrating grading rubrics improves accuracy by offering a structured standard for evaluation.
• Abstract（参考訳）: 学生労働に対する評価を提供することは、効果的な学生学習の重要な要素であり、そのプロセスの自動化は、人間の中等生の作業負荷を大幅に削減する。 LLM(Large Language Models)の進歩によって実現されたASAG(Automatic Short Answer Grading)システムは、オープンエンドの学生の反応を評価・提供するための有望なソリューションを提供する。 本稿では,最先端LLMを利用したASAGパイプラインを提案する。 当社の新しいLCMベースのASAGパイプラインは、同一データセット上の既存のカスタムビルドモデルよりも優れたパフォーマンスを実現しています。 また、GPT-4、GPT-4o、o1-previewの3つのOpenAIモデルのグレーディング性能を比較した。 その結果, GPT-4oは, 精度と費用対効果のバランスが良いことがわかった。 一方、o1-previewは精度が高いにもかかわらず、エラーのばらつきが大きく、教室での使い勝手も悪くなっている。 本研究では,非例,ランダム選択,レトリーバル拡張生成(RAG)に基づく選択戦略を用いて,インストラクターグレード例をプロンプトに組み込む効果について検討する。 以上の結果より,RAGによる選択はランダム選択よりも優れており,グレードドドサンプルを提供することでグレーディング精度が向上することが示唆された。 さらに、グレーディングルーブリックの統合は、評価のための構造化標準を提供することで精度を向上させる。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [78.53743237977677]
  GED(Preference Graph Ensemble and Denoise)は、複数のモデルベースの評価器を活用して嗜好グラフを構築する新しいアプローチである。 特に,本手法は,評価を統一グラフに集約し,デノナイジングプロセスを適用する2つの主要な段階から構成される。 我々は,本枠組みの理論的保証を行い,真理優先構造を回復する上での有効性を示す。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• Selective Self-Rehearsal: A Fine-Tuning Approach to Improve Generalization in Large Language Models [19.752712857873043]
  本稿では,SSR(Selective Self-Rehearsal)を導入し,SFT(Selective Self-Rehearsal)に匹敵する性能を実現する。 モデルの正しい応答を利用することで、SSRは微調整段階におけるモデルの特殊化を減らす。 SSRの有効性は、様々なデータセットにまたがる解決不可能なクエリを識別するタスクに関する実験を通じて実証される。
  論文  参考訳（メタデータ） (2024-09-07T10:21:03Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis [7.458853474864602]
  アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。 近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。 本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-28T10:39:10Z)
• Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
  本稿では,PEFTに基づく量子化モデルの有効性について検討する。 その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
  論文  参考訳（メタデータ） (2024-05-01T16:13:54Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Tuning Language Models as Training Data Generators for Augmentation-Enhanced Few-Shot Learning [30.65315081964461]
  プレトレーニング言語モデル(PLM)を用いて、異なる視点から数発の学習を学習する。 まず,数発のサンプルに対して自己回帰型PLMをチューニングし,それをジェネレータとして使用して,大量の新規トレーニングサンプルを合成する。 我々のアプローチであるFewGenは、GLUEベンチマークの7つの分類タスクに対して、既存の数ショット学習方法よりも総合的に優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-11-06T06:46:47Z)
• Adaptive Fine-Grained Predicates Learning for Scene Graph Generation [122.4588401267544]
  一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。 本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-11T03:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。