論文の概要: Using Evidence-Centered Design to Guide Prompt Engineering in Measurement: An Illustration with Automated Essay Scoring
- arxiv url: http://arxiv.org/abs/2610.15231v1
- Date: Sat, 10 Oct 2026 23:51:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.177929
- Title: Using Evidence-Centered Design to Guide Prompt Engineering in Measurement: An Illustration with Automated Essay Scoring
- Title（参考訳）: Evidence-Centered Design を用いた計測におけるプロンプトエンジニアリングのガイド:自動エッセイスコーリングによる図形化
- Abstract要約: エビデンス・センタード・デザインは、教育応用における迅速な工学の基礎として機能する。
このマッピングから5つの設計原則を導出し、ECDが設計したプロンプトと最先端のプロンプトとを対比した実証的研究を提示する。
その結果、非公式な指示よりも評価設計としての処理は、AI生成した教育成果の妥当性、信頼性、公平性を高めることが示唆された。
- 参考スコア（独自算出の注目度）: 2.013547229561111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative artificial intelligence (GenAI) models, particularly large language models (LLMs), are increasingly used in educational settings for tasks such as item generation, automated scoring, and feedback delivery. The quality of these outputs depends not only on the AI model but also on how users construct the prompts that guide model behaviors. Current prompt engineering practices are largely ad hoc, relying on trial and error rather than principled design. This lack of structure introduces validity threats including construct misrepresentation, construct-irrelevant variance, and limited reproducibility. We propose that Evidence-Centered Design (ECD), a framework in educational measurement for structuring valid inferences from observed performance, can serve as a principled foundation for prompt engineering in educational applications. We map the three core ECD models, the student model, the evidence model, and the task model, onto the components of educational prompt design, and describe a workflow for ECD-based prompt engineering. We derive five design principles from this mapping and present an empirical study contrasting ECD-designed prompts with state-of-the-art (SOTA) prompting baselines on an automated scoring task. Our empirical study demonstrates the usefulness of this framework on automated scoring. Results suggest that treating prompting as assessment design rather than informal instructions strengthens the validity, reliability, and fairness of AI-generated educational outputs.
- Abstract（参考訳）: 生成人工知能(GenAI)モデル、特に大きな言語モデル(LLM)は、アイテム生成、自動スコアリング、フィードバック配信といったタスクの教育環境において、ますます使われている。
これらのアウトプットの品質は、AIモデルだけでなく、モデルの振る舞いを導くプロンプトの構築方法にも依存する。
現在の急進的なエンジニアリングプラクティスは、原則的な設計ではなく、試行錯誤に頼っている、おおむねアドホックである。
この構造的欠如は、構造的ミス表現、構造的無関係な分散、限定的な再現性を含む妥当性の高い脅威をもたらす。
本稿では,実演から有効な推論を構築するための教育測定フレームワークであるEvidence-Centered Design (ECD) が,教育応用における迅速な工学の基礎となることを提案する。
3つの中核的なECDモデル、学生モデル、エビデンスモデル、タスクモデルを教育的プロンプトデザインの構成要素にマッピングし、ECDベースのプロンプトエンジニアリングのためのワークフローを記述する。
このマッピングから5つの設計原則を導出し、ECDが設計したプロンプトと最新技術(SOTA)を対比した実証的研究を行い、自動スコアリングタスクのベースラインを推し進める。
我々の実証研究は、自動スコアリングにおけるこのフレームワークの有用性を実証している。
その結果、非公式な指示よりも評価設計としての処理は、AI生成した教育成果の妥当性、信頼性、公平性を高めることが示唆された。
関連論文リスト
- Dynamic Evidence Collection Ecosystem for Assessment Integrity and Authentic Competence [0.0]
ダイナミック・エビデンス・コレクション・エコシステム」は、学生が時間とともに学ぶことの連続的、真正的、多元的証拠へと評価をシフトさせる。
このフレームワークは、反復的なアーティファクト、設計ログ、アクティビティラウンド、自己回帰、ピアコラボレーションを通じて、プロセスエビデンスを収集します。
本稿では,AI検出問題としてではなく,評価設計として扱われる場合には,学術的整合性が強くなるという仮説に基づく。
論文 参考訳（メタデータ） (2026-08-17T02:19:30Z) - Beyond AI Delegation: A Prompt Pattern Framework for Productive Struggle and Evaluative Judgement in Secure Coding Education [0.45706494756895794]
大規模な言語モデルは、学生が自動システムに書き込み、分析、問題解決を委譲しやすくする。
我々は,GenAIが価値ある認知的要求をなくすことなく,教育者がGenAIをコースに維持するのに役立つ実践的な枠組みを導入する。
論文 参考訳（メタデータ） (2026-05-23T07:35:49Z) - Physics-in-the-Loop: A Hybrid Agentic Architecture for Validated CAD Engineering Design [2.523956380620852]
大規模言語モデル(LLM)はCAD(Computer-Aided Design)を生成することができるが、信頼性の高いエンジニアリング設計に必要な物理的理解は欠如している。
本稿では,自律型AIエージェントの意思決定ループに直接,検証済みの知識ベースエンジニアリングツールを組み込むハイブリッドエージェント・物理アーキテクチャを提案する。
本システムでは, 構造的複雑性が4.2増加し, 類似のエージェント法に比べてコンパイル速度が3.5%向上するなど, より複雑で物理的に検証された設計を生成する。
論文 参考訳（メタデータ） (2026-05-19T11:52:42Z) - A Faceted Proposal for Transparent Attribution of AI-Assisted Text Production [0.0]
本稿では, 文書, 章, 節, 段落のレベルにおいて, AI支援によるテキスト生成を表現するためのファセットモデルを提案する。
提案では、フォーム、ジェネレーション、評価に基づくコアモデルと、インテント、コントロール、トレーサビリティを追加する拡張モデルを紹介している。
論文 参考訳（メタデータ） (2026-04-28T08:03:16Z) - Artificial Intelligence Agents in Music Analysis: An Integrative Perspective Based on Two Use Cases [0.0]
本稿では,音楽分析と教育に応用されたAIエージェントの総合的レビューと実験的検証について述べる。
ルールベースモデルから、ディープラーニング、マルチエージェントアーキテクチャ、検索拡張生成フレームワークを含む現代的アプローチへの歴史的進化を合成する。
実験の結果,AIエージェントは音楽パターン認識,構成パラメータ化,教育的フィードバックを効果的に強化することがわかった。
論文 参考訳（メタデータ） (2025-11-17T23:46:47Z) - A Survey on Efficient Vision-Language-Action Models [153.11669266922993]
VLA(Vision-Language-Action Model)は、物理世界の相互作用によってデジタル知識を橋渡しすることを目的とした、インテリジェンスにおける重要なフロンティアである。
これらの課題に緊急に対応する必要性から、この調査は、効率的なビジョン・ランゲージ・アクションモデルに関する最初の包括的なレビューを提示する。
論文 参考訳（メタデータ） (2025-10-27T17:57:33Z) - Understanding the Implicit Biases of Design Choices for Time Series Foundation Models [90.894232610821]
時系列基礎モデル(TSFM)は、時系列予測と関連する時間的タスクのための潜在的に強力で汎用的なツールのクラスである。
彼らの行動はデザインの微妙な帰納的バイアスによって強く形作られています。
モデルやデータの性質によって、これらのバイアスが直感的であるか、非常に直感的であるかを示す。
論文 参考訳（メタデータ） (2025-10-22T04:42:35Z) - Knowledge-Driven Hallucination in Large Language Models: An Empirical Study on Process Modeling [46.05103857535919]
解析的タスクにおける大規模言語モデルの実用性は、その膨大な事前訓練された知識に根ざしている。
この能力は、私たちが知識駆動幻覚と呼ぶものに対して、重大なリスクをもたらします。
本稿では,自動プロセスモデリングのタスクにおけるLCMの評価により,この現象を考察する。
論文 参考訳（メタデータ） (2025-09-18T18:27:30Z) - Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering [51.31836988300326]
検証工学は、基礎モデルの時代のために特別に設計された新しいポストトレーニングパラダイムである。
検証工学のプロセスは,検索,検証,フィードバックの3段階に分類する。
論文 参考訳（メタデータ） (2024-11-18T12:04:52Z) - Explainable Authorship Identification in Cultural Heritage Applications:
Analysis of a New Perspective [48.031678295495574]
既存の汎用eXplainable Artificial Intelligence(XAI)技術のAIへの応用について検討する。
特に,3種類のAIdタスクにおける3種類のXAIテクニックの相対的メリットを評価した。
我々の分析によると、これらの技術は、説明可能なオーサシップの特定に向けて重要な第一歩を踏み出すが、まだ多くの作業が続けられている。
論文 参考訳（メタデータ） (2023-11-03T20:51:15Z) - Design Space Exploration and Explanation via Conditional Variational
Autoencoders in Meta-model-based Conceptual Design of Pedestrian Bridges [52.77024349608834]
本稿では,条件付き変分オートエンコーダ(CVAE)による人間設計者向上のための性能駆動型設計探索フレームワークを提案する。
CVAEはスイスの歩行者橋の合成例18万件で訓練されている。
論文 参考訳（メタデータ） (2022-11-29T17:28:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。