論文の概要: SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems
- arxiv url: http://arxiv.org/abs/2603.17373v1
- Date: Wed, 18 Mar 2026 05:33:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.522387
- Title: SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems
- Title（参考訳）: SafeTutors:AIチューニングシステムにおける教育的安全性のベンチマーク
- Abstract要約: SafeTutorsは、数学、物理学、化学における安全性と教育を共同で評価するベンチマークである。
スケールは確実に役に立ちませんし、マルチターンダイアログは振る舞いを悪化させ、教育上の失敗は17.7%から77.8%に上昇します。
ハームは主題によっても異なるため、緩和は規律を意識する必要があり、シングルターンの"セーフ/ヘルパフル"の結果は、拡張された相互作用よりも体系的な家庭教師の失敗を隠蔽することができる。
- 参考スコア（独自算出の注目度）: 28.55608350602746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are rapidly being deployed as AI tutors, yet current evaluation paradigms assess problem-solving accuracy and generic safety in isolation, failing to capture whether a model is simultaneously pedagogically effective and safe across student-tutor interaction. We argue that tutoring safety is fundamentally different from conventional LLM safety: the primary risk is not toxic content but the quiet erosion of learning through answer over-disclosure, misconception reinforcement, and the abdication of scaffolding. To systematically study this failure mode, we introduce SafeTutors, a benchmark that jointly evaluates safety and pedagogy across mathematics, physics, and chemistry. SafeTutors is organized around a theoretically grounded risk taxonomy comprising 11 harm dimensions and 48 sub-risks drawn from learning-science literature. We uncover that all models show broad harm; scale doesn't reliably help; and multi-turn dialogue worsens behavior, with pedagogical failures rising from 17.7% to 77.8%. Harms also vary by subject, so mitigations must be discipline-aware, and single-turn "safe/helpful" results can mask systematic tutor failure over extended interaction.
- Abstract（参考訳）: 大規模な言語モデルは、AIチューターとして急速にデプロイされているが、現在の評価パラダイムは、問題解決の正確さと分離時の一般的な安全性を評価している。
学習の安全性は従来のLLMの安全性とは根本的に異なる: 主なリスクは有害な内容ではなく、解答の過剰開示、誤解の強化、足場への退避による学習の静かな侵食である。
この障害モードを体系的に研究するために,数学,物理学,化学の安全と教育を共同で評価するベンチマークであるSafeTutorsを導入する。
SafeTutorsは、11の有害次元と48のサブリスクからなる理論的に根拠付けられたリスク分類に基づいて構成されている。
スケールは確実に役に立ちませんし、マルチターンダイアログは振る舞いを悪化させ、教育上の失敗は17.7%から77.8%に上昇します。
ハームは主題によっても異なるため、緩和は規律を意識する必要があり、シングルターンの"セーフ/ヘルパフル"の結果は、拡張された相互作用よりも体系的な家庭教師の失敗を隠蔽することができる。
関連論文リスト
- Dialectics of Alignment: Harnessing Unsafe Knowledge for Dynamic Safety Routing [27.31688887825119]
この作業は、安全でないデータが破棄されなければならないという正統性に挑戦する。
セーフモエ(SafeMoE)は、安全でない知識をドメイン固有のLowRank Adapters(LoRAの専門家)に分離するフレームワークである。
真の安全性は、安全でない知識のマスキングではなく、制御された統合のシフトを必要とする。
論文 参考訳（メタデータ） (2026-05-30T11:49:42Z) - Pedagogical Safety in Educational Reinforcement Learning: Formalizing and Detecting Reward Hacking in AI Tutoring Systems [1.4323566945483497]
強化学習(Reinforcement Learning, RL)は、知的学習システムにおける指導のパーソナライズにますます用いられる。
本稿では,構造,進歩,行動,アライメントの安全性を含む教育用RLの4層モデルを提案する。
我々は,4つの条件と3つの学習者プロファイルに120のセッションがあり,合計18,000のインタラクションがあるAI学習環境の制御されたシミュレーションにおいて,このフレームワークを評価する。
論文 参考訳（メタデータ） (2026-04-05T19:43:29Z) - Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。
本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
論文 参考訳（メタデータ） (2026-03-31T23:19:50Z) - SafeSci: Safety Evaluation of Large Language Models in Science Domains and Beyond [134.43113804188195]
安全評価と科学的文脈の強化のための包括的枠組みであるSafeSciを紹介する。
SafeSciには、0.25Mサンプルを持つマルチディシプリナのベンチマークであるSafeSciBenchと、安全性向上のための1.5Mサンプルを含む大規模データセットであるSafeSciTrainが含まれている。
論文 参考訳（メタデータ） (2026-03-02T08:16:04Z) - CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models [55.0103764229311]
本稿では,学生用個人安全の概念を提案し,教育理論に基づくCASTLEの構築を行う。
このベンチマークは、92,908のバイリンガルシナリオを含む15の教育安全リスクと14の学生属性をカバーしている。
論文 参考訳（メタデータ） (2026-02-05T13:13:19Z) - The Missing Half: Unveiling Training-time Implicit Safety Risks Beyond Deployment [148.80266237240713]
暗黙のトレーニング時間安全リスクは、モデルの内部インセンティブとコンテキスト背景情報によって引き起こされる。
5つのリスクレベル、10つのきめ細かいリスクカテゴリ、3つのインセンティブを持つ分類を導入した。
我々の結果は、過度に見過ごされているが、訓練における緊急の安全上の課題を特定します。
論文 参考訳（メタデータ） (2026-02-04T04:23:58Z) - EduGuardBench: A Holistic Benchmark for Evaluating the Pedagogical Fidelity and Adversarial Safety of LLMs as Simulated Teachers [8.123835490773095]
職業シミュレーションのための大規模言語モデル(SP-LLM)は、パーソナライズされた教育において重要である。
EduGuardBenchはロールプレイングフィデリティスコア(RFS)を用いてプロのフィデリティを評価する
また、一般的な害、特に学術的不正をターゲットとしたペルソナベースの敵対的プロンプトを使用して安全性の脆弱性を調査する。
論文 参考訳（メタデータ） (2025-11-10T09:42:24Z) - SOSBENCH: Benchmarking Safety Alignment on Scientific Knowledge [11.63268709958876]
SOSBenchは、大規模な言語モデルのための規制対象のハザード中心のベンチマークである。
化学、生物学、医学、薬理学、物理学、心理学の6つのリスクの高い分野をカバーしている。
SOSBenchを用いた統合評価フレームワークにおけるフロンティアモデルの評価を行った。
論文 参考訳（メタデータ） (2025-05-27T17:47:08Z) - Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。
我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。
我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
論文 参考訳（メタデータ） (2025-04-23T17:58:08Z) - Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。
我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。
UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
論文 参考訳（メタデータ） (2025-03-14T17:00:22Z) - ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳（メタデータ） (2024-04-06T15:01:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。