論文の概要: EDIT: Evidence-Diagnosed Intervention Training for Rule-Faithful LLM Grading

• arxiv url: http://arxiv.org/abs/2606.06350v1
• Date: Thu, 04 Jun 2026 16:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.949071
• Title: EDIT: Evidence-Diagnosed Intervention Training for Rule-Faithful LLM Grading
• Title（参考訳）: EDIT:ルールフルLLMグレーディングのためのエビデンス診断インターベンショントレーニング
• Authors: Zhihao Wu, Linhai Zhang, Taiyi Wang, Runcong Zhao, Peter Andrews, Cesare Aloisi, Yulan He,
• Abstract要約: エビデンス診断インターベンショントレーニング(Evidence-Diagnosed Intervention Training、EDIT)は、よりルーリックなLLMグレーダをトレーニングするための2段階のフレームワークである。 まず、EDIT-SFTは、最終マークに対する後続の信念と入力接地スコアという、内部モデル信号を用いた問題推論ステップを特定する。 第2に、EDIT-RLはグレーダーを、信念を導いた報酬形成で校正し、大きな有害な信念の漂流を抑えながら、探索に役立ちます。
• 参考スコア（独自算出の注目度）: 26.362870491960038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable rubric grading requires more than accurate score prediction. Each judgement must be grounded in the mark scheme and evidence from the student answer. Existing credit-assignment and intervention methods, primarily designed for self-contained reasoning tasks such as mathematics reasoning, struggle in this setting because they do not identify where grading reasoning goes wrong or how the model's belief about the final mark changes during reasoning. We propose Evidence-Diagnosed Intervention Training (EDIT), a two-phase framework for training more rubric-faithful LLM graders. First, EDIT-SFT locates problematic reasoning steps using internal model signals: posterior belief over the final mark and input-grounding scores. It then revises only these local steps with help from a rubric checklist. Second, EDIT-RL calibrates the grader with belief-guided reward shaping, penalising large harmful belief drifts while still allowing helpful exploration. Experiments on two real-world, multi-subject grading benchmarks demonstrate that EDIT consistently outperforms strong supervised fine-tuning and reinforcement learning baselines on both in-domain and out-of-domain splits, with ablation studies confirming that internal-state diagnostics drive these gains.
• Abstract（参考訳）: 信頼性の高いルーリックグレーディングには、正確なスコア予測以上のものが必要である。 各判断は、学生の回答のマークスキームと証拠に基礎を置く必要がある。 既存のクレジット割り当てと介入手法は、主に数学の推論のような自己完結した推論タスクのために設計されており、段階的推論のどこが間違っているのか、あるいはモデルの最終マークに対する信念が推論中にどのように変化するのかを特定できないため、この設定に苦慮している。 Evidence-Diagnosed Intervention Training (EDIT)を提案する。 まず、EDIT-SFTは、最終マークに対する後続の信念と入力接地スコアという、内部モデル信号を用いた問題推論ステップを特定する。 その後、ルーリックチェックリストの助けを借りて、これらのローカルステップのみを更新する。 第2に、EDIT-RLはグレーダーを、信念を導いた報酬形成で校正し、大きな有害な信念の漂流を抑えながら、探索に役立ちます。 2つの実世界のマルチオブジェクトグレーディングベンチマークの実験では、EDITはドメイン内およびドメイン外の分割において、教師付き微調整と強化学習のベースラインを一貫して上回っており、内部診断がこれらの向上を加速することが示された。

関連論文リスト

• TRACE: A Framework for Analyzing and Enhancing Stepwise Reasoning in Vision-Language Models [9.607579442309639]
  本稿では,トランスペアレント推論と一貫性評価のためのフレームワークであるTRACEを紹介する。 TRACEleverages Auxiliary Reasoning Setsは複雑な問題を分解する。 実験の結果, ARS間の整合性は最終回答の正しさと相関していることがわかった。 TRACEは信頼できない推論パスと信頼できない推論パスを区別する信頼領域を定義する。
  論文  参考訳（メタデータ） (2025-12-05T18:40:18Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Stabilizing Reinforcement Learning for Honesty Alignment in Language Models on Deductive Reasoning [27.42733470720954]
  本研究では,地上の真実軌道をロールアウトに注入し,早期の訓練崩壊を防ぐ強化学習手法を提案する。 その結果,本手法は学習を安定させ,全体の推論性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2025-11-12T11:34:19Z)
• What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation [67.47463575774388]
  我々は推論品質を関連性と一貫性の2つの次元に分解する。 これらの側面を確実に測定するために、因果的段階評価(CaSE)を導入する。 トレーニングデータをCaSEで評価した妥当性とコヒーレンスでキュレートすることで、最終タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-10-23T14:30:37Z)
• Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning [62.23671919314693]
  大規模言語モデル (LLM) は文脈理解において著しく改善されている。 しかし、長いコンテキストの推論と生成の間に真に重要な情報に出席する能力は、まだペースの遅れています。 本稿では,2段階のフレームワークであるLearning to Focus(LeaF)を導入し,コンバウンディング要因を緩和する。
  論文  参考訳（メタデータ） (2025-06-09T15:16:39Z)
• FINEREASON: Evaluating and Improving LLMs' Deliberate Reasoning through Reflective Puzzle Solving [90.88021670297664]
  FINEREASONは、大規模言語モデルの推論能力を評価するための論理パズルベンチマークである。 状態チェックと状態遷移という2つのタスクを導入し、モデルが現在の状況をどのように評価するかを総合的に評価し、次の動きを計画する。 状態チェックと遷移データに基づいてトレーニングされたモデルでは、GSM8Kで最大5.1%の精度で数学推論が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:23:25Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。