論文の概要: Sketch2Feedback: Grammar-in-the-Loop Framework for Rubric-Aligned Feedback on Student STEM Diagrams

• arxiv url: http://arxiv.org/abs/2602.18520v1
• Date: Thu, 19 Feb 2026 20:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.131397
• Title: Sketch2Feedback: Grammar-in-the-Loop Framework for Rubric-Aligned Feedback on Student STEM Diagrams
• Title（参考訳）: Sketch2Feedback: 学生のSTEMダイアグラムに対するルブリック適応フィードバックのためのGrammar-in-the-Loopフレームワーク
• Abstract要約: Sketch2Feedbackは,問題を4段階に分解する文法-イン-ザ-ループフレームワークである。 我々は,FBD-10とCircuit-10の2種類の合成マイクロベンチマークについて,それぞれ500枚の画像が標準値とハードノイズ増大レベルに分散されていることを評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Providing timely, rubric-aligned feedback on student-drawn diagrams is a persistent challenge in STEM education. While large multimodal models (LMMs) can jointly parse images and generate explanations, their tendency to hallucinate undermines trust in classroom deployments. We present Sketch2Feedback, a grammar-in-the-loop framework that decomposes the problem into four stages -- hybrid perception, symbolic graph construction, constraint checking, and constrained VLM feedback -- so that the language model verbalizes only violations verified by an upstream rule engine. We evaluate on two synthetic micro-benchmarks, FBD-10 (free-body diagrams) and Circuit-10 (circuit schematics), each with 500 images spanning standard and hard noise augmentation tiers, comparing our pipeline against end-to-end LMMs (LLaVA-1.5-7B, Qwen2-VL-7B), a vision-only detector, a YOLOv8-nano learned detector, and an ensemble oracle. On n=100 test samples per benchmark with 95% bootstrap CIs, results are mixed and instructive: Qwen2-VL-7B achieves the highest micro-F1 on both FBDs (0.570) and circuits (0.528), but with extreme hallucination rates (0.78, 0.98). An ensemble oracle that selects the best prediction per sample reaches F1=0.556 with hallucination 0.320 on FBDs, demonstrating exploitable complementarity between grammar and end-to-end approaches. Confidence thresholding at tau=0.7 reduces circuit hallucination from 0.970 to 0.880 with no F1 loss. Hard noise augmentation reveals domain-dependent robustness: FBD detection is resilient while circuit detection degrades sharply. An LLM-as-judge evaluation confirms that the grammar pipeline produces more actionable circuit feedback (4.85/5) than the end-to-end LMM (3.11/5). We release all code, datasets, and evaluation scripts.
• Abstract（参考訳）: 学生図面に対するタイムリーでルーリックなフィードバックを提供することは、STEM教育において永続的な課題である。 大規模マルチモーダルモデル(LMM)は画像解析と説明生成を共同で行うことができるが、その傾向は教室の展開における信頼を損なう。 Sketch2Feedbackは,言語モデルが上流ルールエンジンで検証された違反のみを言語化するために,問題を4段階(ハイブリッド認識,シンボルグラフ構築,制約チェック,制限付きVLMフィードバック)に分解する,ループ内文法フレームワークである。 我々は、FBD-10(自由体図)とCircuit-10(回路図)の2つの合成マイクロベンチマークについて、それぞれ500のイメージを標準とハードノイズ拡張層に分散させ、パイプラインをエンドツーエンドのLMM(LLaVA-1.5-7B, Qwen2-VL-7B)、視覚のみの検出器、YOLOv8-nano学習検出器、アンサンブルオーラクルと比較した。 Qwen2-VL-7BはFBD (0.570) と回路 (0.528) の両方で最高マイクロF1を達成するが、極度の幻覚率 (0.78, 0.98) を持つ。 サンプル毎の最良の予測を選択するアンサンブルオラクルは、FBD上の幻覚0.320でF1=0.556に達する。 tau=0.7での信頼しきい値は、回路幻覚をF1の損失なく0.970から0.880に減少させる。 FBD検出は回復力があり、回路検出は急激に劣化する。 LLM-as-judgeの評価では、文法パイプラインはエンドツーエンドのLMM(3.11/5)よりも動作可能な回路フィードバック(4.85/5)を生成する。 すべてのコード、データセット、評価スクリプトをリリースします。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Predicting Steel Fatigue Life from Micrographs Using Physics-Informed Deep Learning [0.0]
  本報告では,光学顕微鏡から直接軽量合金鋼の疲労寿命(log N_f$)を推定するコンピュータビジョンフレームワークであるCVについて述べる。 画像あたり65ms以下で実行されるパイプラインと合成データセットジェネレータは、オープンソースである。
  論文  参考訳（メタデータ） (2026-07-30T10:13:21Z)
• OmniPhys: Knowledge-Graph-Driven Benchmarking and Collective Optimization for Physical Commonsense in Text-to-Image Generation [63.27323042387232]
  OmniPhysは、物理知識グラフに1,551個のサンプルの厳密なベンチマークである。 PhETシミュレーションを標準的なカリキュラムと整合させることで、OmniPhysは診断ストレステストを実行するナレッジ・トゥ・シナリオパイプラインを運用する。 我々は,物理フィードバックを離散最適化問題として扱う反復的フレームワークであるOmniPromptを提案する。
  論文  参考訳（メタデータ） (2026-07-28T12:27:25Z)
• Constraint-Anchored Reasoning Traces [9.39195684989942]
  MLLM(Autoregressive Multimodal Large Language Model)は、ミススノーボールに悩まされる。 最先端のオープンソースMLLMでは、最初のエラーが発生すると、これらのケースの65%で、残りのステップすべてにわたって推論カスケードが失敗する。 本稿では,MLLMを学習し,言語推論のステップを記号的制約アサーションでインターリーブする,ニューロシンボリック・シンボリック・フレームワークであるConstraint-Anchored Reasoning Traces (CART)を提案する。
  論文  参考訳（メタデータ） (2026-07-18T09:24:45Z)
• Improving IoT Intrusion Detection Through SMOTE-Based Oversampling and Extended Multi-Model Evaluation on Side-Channel Power Data [0.0]
  本稿では、電力系統侵入検知のためのサイドチャネルデータセットの不均衡問題を扱う。 ランダムフォレスト平均F1スコアは0.9989、マクロF1スコアは0.9794に達し、それまでで最高のマイクロF1結果を上回った。 エクストラツリーも同じパフォーマンスを提供するが、速度は10倍に向上した。
  論文  参考訳（メタデータ） (2026-05-29T10:10:13Z)
• Simulating Students or Sycophantic Problem Solving? On Misconception Faithfulness of LLM Simulators [55.617099475539305]
  大規模言語モデル(LLM)は、生徒のような反応を流線型に生成できるため、AI教師や人間教育者のトレーニングや評価のための模擬学生として魅力的である。 しかし、このようなシミュレータは、実際の学生と出力の類似性によって評価され、相互作用中に一貫性のある誤解を持つ学生のように振る舞うかどうかによって評価される。 シミュレーションが誤解駆動の信念状態を維持しているかどうかを判断し、フィードバックが誤解に対処した場合に選択的に更新する。
  論文  参考訳（メタデータ） (2026-05-12T20:55:23Z)
• Prompt Framing Distorts Count-Based Evaluation of LLM Error Detection: Evidence from Numeric Anchoring [0.16921396880325776]
  本稿では,F1をカウントベースとしたF1が,ローカライゼーションの改善を伴わずに劇的に上昇することを示す。 ErrorBenchは、プロンプト誘起カウント歪みの制御されたストレステストプロトコルである。 本研究は,GPT/Claudeシステムにおいて,GPT/Claudeシステムにおいてより大きいカウント応答と,このストレステストプロトコル下でのジェミニファミリーでのより小さな応答を見出した。
  論文  参考訳（メタデータ） (2026-05-03T12:21:42Z)
• CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
  本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。 時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。 実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
  論文  参考訳（メタデータ） (2026-03-06T16:39:17Z)
• Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models [0.8552050317027305]
  大規模言語モデル(LLM)における幻覚は、高レベルのデプロイメントにとって重要な障壁である。 ニューロサイエンスにインスパイアされた信号設計と教師付き機械学習を組み合わせたハイブリッド検出フレームワークである[Model Name]を紹介する。
  論文  参考訳（メタデータ） (2026-01-22T05:00:21Z)
• Self-reflection in Automated Qualitative Coding: Improving Text Annotation through Secondary LLM Critique [1.5749416770494706]
  大規模言語モデル(LLM)は、大規模なデータセットの高度な定性的な符号化を可能にする。 簡単な一般化可能な2段階のワークフローを提示する: LLMは人間設計のコードブックを適用し、二次LPM批評家は各正のラベルに対して自己回帰を行う。 我々は,Apache Software Foundationのプロジェクト評価に関する議論において,3,000件以上の高コンテンツメールに対する6つの定性的なコードに対して,このアプローチを評価した。
  論文  参考訳（メタデータ） (2026-01-14T22:27:13Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Identifying Imaging Follow-Up in Radiology Reports: A Comparative Analysis of Traditional ML and LLM Approaches [8.864020712680976]
  586例から6,393例の注釈付きコーパスを報告した。 我々は、ロジスティック回帰(LR)、サポートベクタマシン(SVM)、Longformer、そして完全に微調整されたLlama3-8B-インストラクトを含む従来の機械学習分類器を比較した。 GPT-4oとオープンソースのGPT-OSS-20Bを2つの構成で評価した。
  論文  参考訳（メタデータ） (2025-11-14T20:55:44Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)
• From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15 [0.41998444721319217]
  大規模言語モデル(LLM)は自然言語入力を推論できるが、微調整なしでの侵入検出におけるそれらの役割は未だ不明である。 本研究では、各ネットワークフローをコンパクトなテキストレコードに変換し、軽量でドメインにインスパイアされたフラグで拡張することで、プロンプトオンリーなアプローチを評価する。 ゼロショット,命令誘導,スプリットショットを比較して,同一のスプリット下での強い神経ベースライン,精度,精度,リコール,F1,マクロスコアを比較した。
  論文  参考訳（メタデータ） (2025-10-18T02:11:50Z)
• MMSE-Calibrated Few-Shot Prompting for Alzheimer's Detection [4.176236534741941]
  本研究では,Nested Interleaveと厳密なスキーマを用いたクラスバランスプロトコルによる数発のプロンプトについて検討する。 我々は、最先端のプロンプト結果を達成する2つの変種を評価する。 これは、MMSEに誘引された確率を固定し、多モード構造を用いて解釈性を改善するためのADReSS研究としては初めてのものである。
  論文  参考訳（メタデータ） (2025-09-24T09:33:46Z)
• Unblocking Fine-Grained Evaluation of Detailed Captions: An Explaining AutoRater and Critic-and-Revise Pipeline [58.832237984587664]
  VNLI-Critiqueは,自動文レベルの事実性分類と批判生成のためのモデルである。 1) VNLI-CritiqueはM-HalDetectベンチマークの最先端性能によって検証された堅牢な一般化を実証し、(2) VNLI-CritiqueによるDOCCI-Critique向けAutoRaterは信頼性の高いVLMランキングを提供し、人間の事実性判断と優れた整合性を示す。
  論文  参考訳（メタデータ） (2025-06-09T10:57:26Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Simultaneous Image-to-Zero and Zero-to-Noise: Diffusion Models with Analytical Image Attenuation [53.04220377034574]
  高品質(未条件)な画像生成のための前方拡散プロセスに解析的画像減衰プロセスを導入することを提案する。 本手法は,フォワード画像からノイズへのマッピングを,テクスチメジからゼロへのマッピングとテクスティケロ・ツー・ノイズマッピングの同時マッピングとして表現する。 我々は,CIFAR-10やCelebA-HQ-256などの無条件画像生成や,超解像,サリエンシ検出,エッジ検出,画像インペインティングなどの画像条件下での下流処理について実験を行った。
  論文  参考訳（メタデータ） (2023-06-23T18:08:00Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。