Fugu-MT 論文翻訳(概要): Mitigating Scaffolding Collapse in Socratic Tutors via Representation Alignment

論文の概要: Mitigating Scaffolding Collapse in Socratic Tutors via Representation Alignment

arxiv url: http://arxiv.org/abs/2607.19371v1
Date: Mon, 15 Jun 2026 07:55:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.138634
Title: Mitigating Scaffolding Collapse in Socratic Tutors via Representation Alignment
Title（参考訳）: 表現アライメントによるソクラテスチュータのスキャッディング崩壊の軽減
Abstract要約: 大規模言語モデル(LLM)に基づくソクラテスの家庭教師は、多ターン質問を通じて学生をガイドする傾向にある。持続的な学生圧力の下で、教師は徐々に指導的調査を放棄し、解決策を直接明らかにする。教師付き微調整でソクラテス教師を温める2段階のフレームワークであるScaffold-Preserving Representation Alignmentを提案する。
参考スコア（独自算出の注目度）: 27.27113272044142
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM)-based Socratic tutors increasingly guide students through multi-turn questioning, but they can suffer from scaffolding collapse: under sustained student pressure, a tutor gradually abandons guided inquiry and reveals solutions directly. Prior defenses primarily constrain observable responses through prompting, preference optimization, or filtering, leaving the internal representation drift that precedes trajectory-level collapse largely unaddressed. We propose Scaffold-Preserving Representation Alignment, a two-stage framework that first warms up a Socratic tutor with supervised fine-tuning, then combines trajectory-weighted direct preference optimization with a margin-preserving representation loss anchored to frozen reference states. Our method is designed to maintain separation between scaffold-preserving and collapse-inducing hidden states across dialogue turns. We evaluate our method across five STEM disciplines and five red-teaming attack strategies. On Qwen3-8B, our method lowers Collapse Rate to 32%, delays average collapse onset beyond nine turns, and keeps over-refusal low, suggesting that representation-level alignment can improve the robustness of long-horizon Socratic tutoring under our red-teaming protocol.
Abstract（参考訳）: 大規模言語モデル(LLM)に基づくソクラテスの家庭教師は、多ターン質問を通じて学生をガイドする傾向にあるが、彼らは足場崩壊に悩まされる可能性がある。以前の防御は、主にプロンプト、選好最適化、フィルタリングを通じて観測可能な応答を制限しており、軌道レベルの崩壊に先立つ内部表現のドリフトは、ほとんど適応していない。そこで我々は,まずソクラテスのチュータを教師付き微調整で温めるための2段階のフレームワークであるScaffold-Preserving Representation Alignmentを提案し,その後,トラジェクトリ重み付き直接選好最適化と凍結参照状態に固定されたマージン保存表現損失を組み合わせた。本手法は,スキャフォールド保存状態と崩壊誘導状態との分離を対話中に維持するように設計されている。本手法は,5つのSTEM分野と5つのレッドチームアタック戦略にまたがって評価する。 Qwen3-8Bでは,コンラスト率を32%に下げ,9ターンを超える平均崩壊開始を遅らせ,低遅延を保ち,表現レベルのアライメントが長期ソクラテス教育のロバスト性を向上させることが示唆された。

関連論文リスト

Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2026-08-08T05:46:32Z)
Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning [7.657318367266143]
HeuristicEduは、2相パイプラインで、Qwen2.5-7Bをソクラテスのチューリングに合わせる。訓練はソクラティック・エドゥ(SoccraticEdu)を使い、797人の中国人児童の科学対話をライブプラットフォームから再構築する。
論文参考訳（メタデータ） (2026-07-25T02:21:32Z)
Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文参考訳（メタデータ） (2026-07-02T14:33:07Z)
Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文参考訳（メタデータ） (2026-06-17T17:54:04Z)
Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments [53.85970147743299]
専門家によるデモンストレーションは、ロボット模倣学習における金の標準であると広く考えられている。しかし、挿入、積み重ね、アライメントなどのきめ細かい操作のために、私たちは直感的な失敗モードを発見しました。視覚言語モデルとアクションエキスパートをブリッジする,コンパクトな動的特徴であるSTAIRを導入する。
論文参考訳（メタデータ） (2026-06-14T04:15:29Z)
Speculative Rollback Correction for Quality-Diverse Web Agent Imitation [43.603850569331975]
専門家の軌道から模倣学習を通じて対話型Webエージェントを訓練することは、非常に効果的なアプローチとして現れている。リセット可能なエージェント環境のためのブランチレベルの模倣フレームワークであるSRC(Speculative Rollback Correction)を提案する。
論文参考訳（メタデータ） (2026-06-10T08:56:27Z)
HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文参考訳（メタデータ） (2026-06-10T01:35:34Z)
SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
論文参考訳（メタデータ） (2026-06-03T09:08:29Z)
Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。我々は、この原則を軌跡固有のリリースルールで運用する。強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文参考訳（メタデータ） (2026-05-13T15:05:30Z)
A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
論文参考訳（メタデータ） (2026-04-01T08:32:34Z)
TRACEALIGN -- Tracing the Drift: Attributing Alignment Failures to Training-Time Belief Sources in LLMs [7.125400292079228]
大きな言語モデル(LLM)は、人間の値に合わせるように微調整され、しばしばアライメントドリフトを示す。以前の作業ではアライメント障害が特徴的だったが、これらの障害の根底にあるトレーニングタイムの信念源についてはほとんど知られていない。 TraceAlignは、モデルのトレーニングコーパスの根本原因に安全でない完了をトレースするための統一されたフレームワークである。
論文参考訳（メタデータ） (2025-08-04T05:03:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。