論文の概要: ValiAssist: Scaling LLM-generated Programming Feedback Validation by Demonstration

• arxiv url: http://arxiv.org/abs/2610.27248v1
• Date: Mon, 19 Oct 2026 20:21:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.492699
• Title: ValiAssist: Scaling LLM-generated Programming Feedback Validation by Demonstration
• Title（参考訳）: ValiAssist: デモによるLCM生成プログラミングフィードバックバリデーションのスケールアップ
• Abstract要約: 本稿では,AIによるフィードバックのリビジョンから,再利用可能なバリデーションロジックを推論するバリアシストを提案する。 この結果から, 実演による検証は, 個々の事例に対する判断の仕方を, 明示的かつ再利用可能な論理に転換する上で有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 12.15023689855424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI can create programming feedback at scale, but validating its alignment with instructors' pedagogical goals and strategies remains challenging. Instructors may struggle to fully specify validation criteria upfront, as these often emerge through inspecting concrete examples and revising misaligned feedback. We present ValiAssist, a validation-by-demonstration system that infers reusable validation logic from instructors' revisions of AI-generated feedback and allows instructors to inspect and refine that logic as it is applied across other student submissions. In a comparative study with 16 instructors, ValiAssist helped instructors create and refine validation criteria, producing feedback that better aligned with their pedagogical intent (91% vs. 57%) and more than doubling the accuracy of correcting problematic criteria (77% vs. 32%). Our findings suggest that validation by demonstration can help instructors turn judgments they know how to make on individual cases into explicit, reusable logic, while progressively clarifying where those judgments do and do not generalize.
• Abstract（参考訳）: ジェネレーティブAIは、大規模にプログラミングフィードバックを作成することができるが、インストラクターの教育的目標と戦略との整合性を検証することは依然として困難である。 インストラクタは、具体的な例を検査し、誤ったフィードバックを修正することによって、検証基準を事前に完全に指定するのに苦労する可能性がある。 本稿では,AIによるフィードバックのリビジョンから再利用可能なバリデーションロジックを推論するバリアシストを提案する。 16人のインストラクターによる比較研究において、ValiAssistは、インストラクターによる検証基準の作成と洗練を支援し、教育的意図(91%対57%)と、問題のある基準の修正精度(77%対32%)の2倍のフィードバックを生み出した。 本研究は, 実演による検証は, 個別の事例を明確かつ再利用可能な論理にする方法を知っている判断を, より段階的に明らかにし, 一般化しない判断を下すのに役立つことを示唆している。

関連論文リスト

• CheckDistill: Adaptive Checklist Distillation for Efficient Distributional Reward Modeling in Image Editing [16.72729078802757]
  CheckDistillは、命令適応型チェックリストを内部化するポイントワイズ報酬モデリングフレームワークである。 チェックリスト、項目レベルの判断、次元レベルの合理化に関する特権教師の条件は、学生のスコアリングの軌跡を監督する。 CheckDistillは、MMRB2、MER-Bench、EditReward-Benchでそれぞれ72.30%、56.67%、82.90%のアキュラシーを達成している。
  論文  参考訳（メタデータ） (2026-10-19T17:05:46Z)
• Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
  我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。 次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。 トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
  論文  参考訳（メタデータ） (2026-10-13T17:22:58Z)
• Scaling Peer Assessments: An Integrity Report from a Large Engineering Internship [2.1494596588623134]
  大規模・多施設インターンシッププログラムにおいてピア検証モデルを実装した。 十分な理解を示した学生は、仲間を評価し、評価する権限を与えられた。 ほとんどの参加者は活動に価値があると考えており、79.8%はそれまで解決できなかった問題を解決したと報告している。 しかしながら、29.0%は、努力の削減、検証基準の引き下げ、相互検証の少なくとも1つの事例を認めており、88.7%は、ある程度の検証が適切に行われていないと信じている。
  論文  参考訳（メタデータ） (2026-10-01T04:09:34Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• The Correct Answer Trap: Pedagogically-Grounded Detection and Feedback for Hidden Misconceptions [2.6352293843915606]
  我々は,Eedi数学プラットフォームから20,964人の実学生の回答を用いて,隠れた誤解を自動的に検出する。 本稿では,解答正解率と解答妥当性を分離し,検出・検証・エスカレートパイプラインを提案する。 2つのデプロイメントモードがパイプラインに適合する。レビューキューをフィルタリングする教師ダッシュボードと、フラグが低コストなフォーマットフォローアップをトリガーする自律的なチューターだ。
  論文  参考訳（メタデータ） (2026-06-22T11:51:17Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Evaluating LLMs for Answering Student Questions in Introductory Programming Courses [0.0]
  本研究では,CS1プログラミングコースにおける学生の質問に答える上で,大規模言語モデルの安全かつ効果的に支援する能力について検討する。 従来のテキストマッチングメトリクスは、オープンエンドの教育応答を評価するには不十分であるため、独自のLCM-as-a-Judgeメトリックを開発し、検証した。 以上の結果から,ジェミニ3フラッシュなどのモデルが典型的な教育者応答の品質基準を超越し,専門家の教育基準と高い整合性が得られることが示唆された。
  論文  参考訳（メタデータ） (2026-03-30T11:22:58Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Beyond Agreement: Rethinking Ground Truth in Educational AI Annotation [1.8434042562191815]
  我々は、注釈品質ハッパーのゲートキーパーとしての人間間信頼性(IRR)への過度な依存が、データの分類に進展していると論じる。 本稿では,マルチラベルアノテーションスキーム,エキスパートベースアプローチ,クローズ・ザ・ループの有効性など,補完的な評価手法の5つの例を紹介する。 我々は、アノテーションの品質と基礎的真実を再考し、合意のみに対する妥当性と教育的影響を優先することを求める。
  論文  参考訳（メタデータ） (2025-07-31T20:05:26Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。