論文の概要: Correct Diagnosis, Better Feedback: A Symbolic-Verifier for Faithful LLM Tutoring Feedback in Logic Proofs

• arxiv url: http://arxiv.org/abs/2609.22553v1
• Date: Fri, 18 Sep 2026 20:09:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.447444
• Title: Correct Diagnosis, Better Feedback: A Symbolic-Verifier for Faithful LLM Tutoring Feedback in Logic Proofs
• Title（参考訳）: 正しい診断, より良いフィードバック: 論理証明における忠実LLMチューニングフィードバックのシンボリック検証
• Abstract要約: 言語生成から診断を分離する検証済みのアーキテクチャを導入する。 600のバランスの取れた学生行動を用いて、ゼロショット検出器、微調整検出器、シンボル検証器を比較した。 検証済みのフィードバックは診断精度が最も高く、専門家評価は自動フィードバック評価とほとんど一致しない。
• 参考スコア（独自算出の注目度）: 3.727861950501858
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Effective LLM tutoring depends on correctly identifying the specific error in a student's reasoning before generating feedback. We study this problem in propositional-logic proof tutoring, where student actions can be checked against formal inference rules. We introduce a verifier-grounded architecture that separates diagnosis from language generation. Using 600 balanced student actions, we compare a zero-shot LLM detector, a fine-tuned detector, and a symbolic verifier. Each diagnosis is processed by shared rationale and feedback agents, isolating the effect of the initial diagnosis. The zero-shot detector achieves a macro-F1 of 0.191; fine-tuning raises this to 0.709 but retains systematic errors between structurally related classes. Rationales generally preserve the diagnosis supplied to them, showing that an incorrect diagnosis can be faithfully propagated through the pipeline. Feedback can likewise remain faithful to its rationale, non-revealing, and pedagogically appropriate while addressing the wrong error. Verifier-grounded feedback achieves the highest diagnostic correctness, and expert ratings largely uneven with the automatic feedback evaluations. These findings show that apparent feedback quality can conceal upstream diagnostic errors and that faithfulness must be evaluated separately from correctness. Our code is publicly available
• Abstract（参考訳）: 効果的なLLMチュータリングは、フィードバックを生成する前に、学生の推論における特定のエラーを正しく識別することに依存する。 本研究では,学生の行動が公式な推論規則に対してチェックできる命題-論理的証明学習において,この問題を考察する。 言語生成から診断を分離する検証済みのアーキテクチャを導入する。 600のバランスの取れた学生行動を用いて、ゼロショットLDM検出器、微調整検出器、シンボル検証器を比較した。 各診断は、共通の合理的およびフィードバックエージェントによって処理され、初期診断の効果を分離する。 ゼロショット検出器は0.191のマクロF1を達成し、微調整により0.709まで上昇するが、構造関連クラス間の体系的なエラーを保持する。 合理性は一般的にそれらに供給された診断を保存し、誤った診断がパイプラインを通して忠実に伝播可能であることを示す。 フィードバックも同様に、その合理的さ、非啓発性に忠実であり、誤ったエラーに対処しながら、教育的に適切である。 検証済みのフィードバックは診断精度が最も高く、専門家評価は自動フィードバック評価とほとんど一致しない。 以上の結果から, 明らかなフィードバック品質は上流の診断誤差を隠蔽し, 忠実度を正当性から別々に評価する必要があることが示唆された。 私たちのコードは公開されています

関連論文リスト

• SymDiag: Explainable Diagnosis for LLM Reasoning via Neuro-Symbolic Verification [25.97411184140887]
  大規模言語モデル(LLM)は、データ駆動推論としてますます機能するが、最終的な答えが正しい場合でも、そのチェーン・オブ・シント(CoT)は不誠実である。 textbfSymDiagは,構造的故障診断として検証を推し進めるニューロシンボリックなフレームワークである。
  論文  参考訳（メタデータ） (2026-08-09T16:05:16Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• FormalRx: Rectify and eXamine Semantic Failures in Autoformalization [20.257622307895108]
  FormalRxは、オートフォーマル化のための総合的な診断評価フレームワークである。 自動形式評価をブラックボックスの判断から行動可能なフィードバックに変換する。 我々は56,287個のNL-FLペアでトレーニングされた診断モデルFormalRx-8Bでフレームワークをインスタンス化する。 最初のきめ細かい診断ベンチマークとしてFormalRx-Testをリリースしました。
  論文  参考訳（メタデータ） (2026-07-06T04:20:06Z)
• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most [6.427759179824697]
  本研究では,10,836の解対と3つのフィードバック条件の知識グラフに基づく基底真理を用いた提案論理における7つのLLMフィードバックエージェントのベンチマークを示す。 モデルでは、最適ステップでニアシーリング性能を得たが、体系的には過剰に退避し、有効だが最適でない推論と過剰に無効化された不正確な解を得た。 以上の結果から,LLMはKGグラウンドモデルで診断処理を行うハイブリッドアーキテクチャに適しており,LLMは開き足場と対話をサポートすることが示唆された。
  論文  参考訳（メタデータ） (2026-05-15T17:24:42Z)
• SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
  本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。 このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-04-30T19:33:58Z)
• Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
  既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。 GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。 我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
  論文  参考訳（メタデータ） (2026-03-03T09:36:43Z)
• MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis [13.241795322837861]
  MedEinstは,49の疾患に5,383対の臨床症例を比較検討した。 バイアストラップ速度による感受性の測定-正確な診断制御にもかかわらず、誤診断トラップの確率について検討する。
  論文  参考訳（メタデータ） (2026-01-10T17:39:25Z)
• Hide and Seek with LLMs: An Adversarial Game for Sneaky Error Generation and Self-Improving Diagnosis [51.88592148135258]
  本稿では,エラー生成と診断のための動的対向フレームワークであるHie and Seek Game (HSG)を提案する。 HSGには2つの敵対的役割がある: Sneakyは、微妙で偽りの推論エラーを発生させることで「隠す」ことと、それらを正確に検出するために「探す」診断である。 いくつかの数学推論タスクの実験では、HSGはエラー診断を著しく向上し、GPT-4oのようなベースラインよりも16.8%--31.4%高い精度を達成している。
  論文  参考訳（メタデータ） (2025-08-05T12:45:21Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Towards the Identifiability and Explainability for Personalized Learner Modeling: An Inductive Paradigm [36.60917255464867]
  本稿では,エンコーダ・デコーダモデルにインスパイアされた新しい応答効率応答パラダイムに基づく,識別可能な認知診断フレームワークを提案する。 診断精度を損なうことなく,ID-CDFが効果的に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-01T07:18:02Z)
• Learning to diagnose cirrhosis from radiological and histological labels with joint self and weakly-supervised pretraining strategies [62.840338941861134]
  そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。 我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。 この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
  論文  参考訳（メタデータ） (2023-02-16T17:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。