論文の概要: Teaching a Large Language Model Tutor to Withhold the Answer: A Supervisor Architecture and an Evidence-Driven Method for Tuning Socratic Behavior
- arxiv url: http://arxiv.org/abs/2608.12292v1
- Date: Wed, 12 Aug 2026 17:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.661942
- Title: Teaching a Large Language Model Tutor to Withhold the Answer: A Supervisor Architecture and an Evidence-Driven Method for Tuning Socratic Behavior
- Title（参考訳）: 答えを抑えるための大規模言語モデルテュータの指導--教師アーキテクチャとソクラテス的振る舞いをチューニングするためのエビデンス駆動手法
- Abstract要約: 効果的な大規模言語モデル (LLM) チューターは、容易に作成できる答えを与えるために、しばしば辞退しなければならない。
本稿では,ターン毎の機械チェック可能な契約として回答保持を強制する教育システムについて報告する。
人間の被験者を使わない自動評価で行動を調整する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An effective large language model (LLM) tutor must often decline to give an answer it could easily produce. In a randomized study, students who used an unguarded chatbot scored higher while practicing but lower on a later test taken without it, whereas a Socratically guarded version of the same model kept the practice gain and removed the later loss [4]. Reliable answer-withholding is therefore central to a tutor's value, yet a capable model pressed by a frustrated student does not withhold reliably on a prompt alone. We report a deployed tutoring system that enforces answer-withholding as a per-turn, machine-checkable contract, and a method for tuning that withholding against evidence. A non-LLM policy core, reading only trusted learner state, sets a per-turn ceiling on an eight-rung help ladder; a deterministic detector strips solution code; and a separate LLM judge checks each risky reply against the contract. We tune the behavior with an automated evaluation that uses no human subjects: scripted student personas are driven through the live pipeline and re-scored by a stronger model, and we record each rejection's stated reason so failures are fixed by cause. Doing so revealed an interpretable "over-help ladder," from blatant solution leaks, to naming the exact bug, to over-citing general facts, with each fix exposing the next. The tutor reached full compliance on all four acceptance criteria. We offer the measure, diagnose, and fix loop as a reusable recipe for any LLM agent that must refuse a capability it has.
- Abstract（参考訳）: 効果的な大規模言語モデル (LLM) チューターは、容易に作成できる答えを与えるために、しばしば辞退しなければならない。
ランダムな調査では、無防備なチャットボットを使用した学生は、練習中に高得点を得たが、無防備な後のテストでは低得点を示し、同じモデルのソクラティカルに保護されたバージョンでは、練習が向上し、その後の損失は取り除かれた [4]。
したがって、信頼性の高い回答保持は教師の価値の中心であるが、フラストレーションのある学生によって押された有能なモデルは、プロンプトのみを確実に保持しない。
本稿では,ターン毎の回答保持を機械チェック可能な契約として実施する教育システムと,証拠に反する回答保持の調整方法について報告する。
信頼された学習者状態のみを読み取る非LLMポリシーコアは、8ラングのヘルプはしごにターン当たりの天井を設定する。
スクリプト化された学生ペルソナは、ライブパイプラインを通して駆動され、より強いモデルによって再描画される。
そうすることで、ブラタントソリューションのリークから正確なバグの命名、過剰に興奮する一般的な事実への命名まで、解釈可能な"オーバーヘルプのはしご"が明らかになった。
教師は4つの受験基準をすべて順守した。
LLMエージェントが持つ能力を拒絶しなければならない場合、再利用可能なレシピとして、測定、診断、修正ループを提供する。
関連論文リスト
- LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails [0.0]
自己改善エージェントパイプラインは、その中心に問題がある。
評価信号は、判定バイアス、ハーネスとメートル法故障、地道エラー、報酬ハッキングの11のクラスで失敗した。
ProCTORは、ステートフルオーケストレータがすべてのツールアクセスを保持し、ステートレスサブエージェントが障害を診断し、それらが適用できないドラフト突然変異を診断する、教師と学生のループである。
論文 参考訳（メタデータ） (2026-09-02T07:54:23Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Consensus as Privileged Context for Label-Free Self-Distillation [12.523025093871304]
CANON(Consensus-Anchored Self-distillation)は、コンセンサスを密集したトークンレベルの監視に転換するラベルフリーのトレーニング手法である。
CanONはpass@1を最大12ポイント改善し、ラベルなしの強化学習を計算の7分の1で6ポイント上回る。
論文 参考訳（メタデータ） (2026-07-15T09:39:32Z) - The Correct Answer Trap: Pedagogically-Grounded Detection and Feedback for Hidden Misconceptions [2.6352293843915606]
我々は,Eedi数学プラットフォームから20,964人の実学生の回答を用いて,隠れた誤解を自動的に検出する。
本稿では,解答正解率と解答妥当性を分離し,検出・検証・エスカレートパイプラインを提案する。
2つのデプロイメントモードがパイプラインに適合する。レビューキューをフィルタリングする教師ダッシュボードと、フラグが低コストなフォーマットフォローアップをトリガーする自律的なチューターだ。
論文 参考訳（メタデータ） (2026-06-22T11:51:17Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Catching The Correct Answer Trap: Characterising AI Tutor Blind Spots When Analysing Student Reasoning [2.6352293843915606]
我々は,正解トラップ(CAT: correct answer trap)と呼ばれる障害モードについて検討する。
Eedi数学プラットフォームから実際の学生の反応を分析すると、これらの失敗の71%が2つの質問タイプに集中していることが分かる。
論文 参考訳（メタデータ） (2026-04-20T10:53:48Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳（メタデータ） (2026-03-18T14:38:55Z) - Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。
RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
論文 参考訳（メタデータ） (2025-11-14T17:20:45Z) - Self-Harmony: Learning to Harmonize Self-Supervision and Self-Play in Test-Time Reinforcement Learning [48.14470449860784]
テスト時強化学習(TTRL)は、推論時に合成信号のみを使用してモデルを適応するためのラベルなしパラダイムを提供する。
簡単な直感に基づくフレームワークであるSelf-Harmonyを紹介します。
論文 参考訳（メタデータ） (2025-11-03T03:34:34Z) - Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳（メタデータ） (2024-07-12T10:11:40Z) - R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。
事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
論文 参考訳（メタデータ） (2023-11-16T08:45:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。