論文の概要: Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring

• arxiv url: http://arxiv.org/abs/2608.23814v1
• Date: Mon, 24 Aug 2026 20:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.580142
• Title: Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring
• Title（参考訳）: 低コストLCM評価のための帯域駆動型プロンプト選択フレームワーク
• Abstract要約: 大言語モデル(LLM)は自動エッセイスコア(AES)において強力な能力を示す 本稿では,マルチアームバンディット(MAB)コントローラにおいて,各プロンプト型をアームとして扱うコスト認識手法を提案する。 タスク2のエッセイ作成実験の結果,MABフレームワークは網羅的なグリッド探索に匹敵する精度を達成していることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate strong capabilities in automated essay scoring (AES), but contemporary approaches typically employ fixed prompt selection, failing to address operational cost concerns and evolving optimal configurations. We propose a novel cost-aware approach that treats each prompt type as an arm in a multi-armed bandit (MAB) controller, enabling adaptive selection of optimal prompting strategies during inference. Our experiments on IELTS Writing Task 2 essays show that the MAB framework achieves comparable scoring accuracy to exhaustive grid search while reducing LLM calls by 78.4\% to find the best grading approach. We implemented four distinct grading recipes (multi-step vs. single-step assessment, with vs. without calibration examples) and found that the multi-step approach with examples achieves the highest accuracy. By tracking token usage and latency alongside agreement metrics, we produce the first cost-reliability learning curves for essay scoring, providing actionable insights for educational technology platforms that must balance operational costs against assessment validity. This work represents the first application of online control mechanisms to adaptively select prompting strategies in AES, transforming prompt selection from an offline hyperparameter optimization problem into an efficient online learning task.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自動エッセイスコア(AES)において強力な能力を示すが、現代のアプローチでは、通常、固定的なプロンプト選択を採用し、運用コストの懸念に対処できず、最適な構成を進化させる。 本稿では,マルチアームバンディット(MAB)コントローラにおいて,各プロンプト型をアームとして扱うコスト認識手法を提案する。 IELTS 作成タスク 2 のエッセイ実験の結果,MAB フレームワークは網羅的検索に匹敵する精度を達成し,LCM コールを 78.4 % 削減し,最高のグレーディングアプローチを見出すことができた。 我々は,4つの異なる段階のレシピ(マルチステップ対シングルステップ評価,キャリブレーションなしでのキャリブレーション例)を実装し,実例を用いたマルチステップアプローチが最も精度が高いことを発見した。 トークンの使用状況と遅延を合意基準とともに追跡することにより、エッセイ評価のための最初のコスト-信頼性学習曲線を生成し、評価妥当性に対する運用コストのバランスをとる必要がある教育技術プラットフォームに対して、実用的な洞察を提供する。 この研究は、AESにおけるプロンプト戦略を適応的に選択するオンライン制御機構の最初の応用であり、オフラインのハイパーパラメータ最適化問題からのプロンプト選択を効率的なオンライン学習タスクに変換する。

関連論文リスト

• Bi-Level Prompt Optimization for Multimodal LLM-as-a-Judge [21.61898421774144]
  大規模言語モデル(LLM)はAI生成コンテンツを評価するための自動判断器として広く採用されている。 彼らの成功にもかかわらず、LLMに基づく評価と人間の判断を合わせることは依然として困難である。 評価関連視覚的手がかりを保ちながら、画像をテキスト表現に変換する双方向プロンプト最適化フレームワークBLPOを提案する。
  論文  参考訳（メタデータ） (2026-02-11T20:22:13Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
  私たちはSingle-Passを紹介します。 Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。 数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。 ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• MARS: A Multi-Agent Framework Incorporating Socratic Guidance for Automated Prompt Optimization [30.748085697067154]
  ソクラティックガイダンス(MARS)を取り入れたマルチエージェントフレームワークを提案する。 MARSは7つのエージェントから構成され、それぞれ異なる機能を持ち、Plannerを自律的に使用して最適化パスを設計する。 提案手法の有効性を検証するため,様々なデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-21T06:19:55Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Enhancing LLM-Based Text Classification in Political Science: Automatic Prompt Optimization and Dynamic Exemplar Selection for Few-Shot Learning [1.6967824074619953]
  大型言語モデル (LLMs) は、政治学におけるテキスト分類をかなり約束する。 本フレームワークは,自動プロンプト最適化,動的指数選択,コンセンサス機構を通じてLLM性能を向上させる。 オープンソースのPythonパッケージ(PoliPrompt)がGitHubで公開されている。
  論文  参考訳（メタデータ） (2024-09-02T21:05:31Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Cost-Effective In-Context Learning for Entity Resolution: A Design Space Exploration [26.65259285701739]
  本稿では,ERに対する費用対効果のあるバッチプロンプト手法の開発方法について,総合的研究を行う。 PLMに基づく手法と比較して,バッチプロンプトはERにとって非常に費用対効果が高いことが判明した。 また,マッチング精度と金銭的コストのバランスを効果的に整えるための包括的実証選択戦略も考案した。
  論文  参考訳（メタデータ） (2023-12-07T02:09:27Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。