論文の概要: AIriskEval-edu Demo: Auditing of Pedagogical Risks in Educational Explanations

• arxiv url: http://arxiv.org/abs/2607.25634v1
• Date: Tue, 28 Jul 2026 12:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.823195
• Title: AIriskEval-edu Demo: Auditing of Pedagogical Risks in Educational Explanations
• Title（参考訳）: AIriskEval-eduデモ:教育説明における教育的リスクの検討
• Abstract要約: 本稿では,授業説明の教育的品質を監査するプラットフォームであるAIriskEval-eduを紹介する。 プラットフォームは、5次元の教育的リスクをカバーするルーリックに対する説明を評価する。 各次元について、二項決定と信頼スコアを返す。
• 参考スコア（独自算出の注目度）: 12.641424626110899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present AIriskEval-edu Demo, a platform that audits the pedagogical quality of instructional explanations and provides explainable audit results. The platform evaluates an explanation against a rubric covering five dimensions of pedagogical risk: factual accuracy, depth and completeness, focus and relevance, student-level appropriateness, and ideological bias. For each dimension, it returns a binary decision and a confidence score. Detected risks also include a natural-language rationale and, except for Depth and Completeness, a localized evidence span. The platform integrates GPT-5.5 through an external API and a self-hosted Llama 3.1 8B evaluator that runs on consumer-grade GPUs. The local evaluator is fine-tuned on AIriskEval-edu, a dataset of K-12 instructional explanations with risk and explainability annotations. The platform operates in two modes: in AI mode, both evaluators assess stored explanations generated under six simulated teacher profiles, each representing a distinct pedagogical behavior and potential risk; in human mode, the local evaluator audits user-written explanations in real time. The local evaluator outperforms GPT-5.5 on most reported metrics, offering educational institutions a practical way to keep audited content within their own infrastructure.
• Abstract（参考訳）: AIriskEval-edu Demoは、教育説明の教育的品質を監査し、説明可能な監査結果を提供するプラットフォームである。 このプラットフォームは、事実的正確性、深さと完全性、焦点と妥当性、学生レベルの適切性、イデオロギーバイアスの5つの次元を網羅するルーリックに対する説明を評価する。 各次元について、二項決定と信頼スコアを返す。 検出されたリスクには、自然言語の合理性も含まれており、深さと完全性を除いて、局所的な証拠が広がっている。 このプラットフォームは、GPT-5.5を外部APIと、コンシューマグレードのGPUで動作する自己ホスト型Llama 3.1 8B評価器を通じて統合する。 ローカル評価器は、リスクと説明可能性アノテーションを備えたK-12命令説明のデータセットであるAIriskEval-eduに基づいて微調整される。 プラットフォームは2つのモードで動作する。AIモードでは、両方の評価者が6つのシミュレーションされた教師プロファイルに基づいて生成された説明を評価し、それぞれが異なる教育行動と潜在的なリスクを表す。 地元の評価者は、ほとんどの報告された指標でGPT-5.5よりも優れており、教育機関が監査されたコンテンツを自身のインフラ内で維持するための実践的な方法を提供している。

関連論文リスト

• Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education [0.0]
  GenAIツールの高等教育評価への統合は、学生がAIによる評価を理解し、解釈し、反応する方法に関する重要な疑問を提起する。 本研究は,サウジアラビアの公立大学におけるコンピュータ学生のための学部技術コミュニケーション講座における定性的な教育的調査の結果を報告する。 学生は、ChatGPTがスコアとフィードバックを生成したことを明示的に知らされ、文章の評価を反映するよう求められた。
  論文  参考訳（メタデータ） (2026-09-04T16:49:33Z)
• AIriskEval-edu: New Dataset for Risk Assessment in AI-mediated K-12 Educational Explanations [12.641424626110899]
  データセットは、科学、言語芸術、社会科学をカバーする、170のキュレートされたScienceQA質問からの1,639の説明で構成されている。 主な貢献は、リスクローカライゼーションやリスク説明を含む構造化された説明可能性アノテーションによる785の説明の追加である。 AIriskEval-edu-db2の教師付き微調整により、ローカルにデプロイ可能なモデルがより強力なフロンティアモデルに近づいたり、優れたりするかどうかを評価する。
  論文  参考訳（メタデータ） (2026-07-02T09:28:21Z)
• EduEVAL-DB: A Role-Based Dataset for Pedagogical Risk Evaluation in Educational Explanations [13.185893390841693]
  データセットは、ScienceQAベンチマークのキュレートされたサブセットからの139の質問に対応する844の説明で構成されている。 我々は,5つの相補的リスク次元を運用する,確立された教育基準に沿った教育的リスクを提案する。 我々は、最先端の教育指向モデル(Gemini 2.5 Pro)を軽量なローカルLlama 3.1 8Bモデルと比較した。
  論文  参考訳（メタデータ） (2026-02-17T12:11:49Z)
• CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models [55.0103764229311]
  本稿では,学生用個人安全の概念を提案し,教育理論に基づくCASTLEの構築を行う。 このベンチマークは、92,908のバイリンガルシナリオを含む15の教育安全リスクと14の学生属性をカバーしている。
  論文  参考訳（メタデータ） (2026-02-05T13:13:19Z)
• Auditing Language Model Unlearning via Information Decomposition [68.48660428111593]
  部分的情報分解(PID)を用いたアンラーニング監査のための解釈可能な情報理論フレームワークを提案する。 非学習前後のモデル表現を比較することにより、相互情報と忘れられたデータとを別個の構成要素に分解し、未学習および残留知識の概念を定式化する。 我々の研究は、言語モデルのより安全なデプロイのための理論的洞察と実行可能なツールを提供する、アンラーニングのための原則付き表現レベル監査を導入している。
  論文  参考訳（メタデータ） (2026-01-21T15:51:19Z)
• ELI-Why: Evaluating the Pedagogical Utility of Language Model Explanations [38.73656006445607]
  言語モデルの教育的能力を評価するために,13.4Kの"Why"質問のベンチマークであるELI-Whyを紹介する。 第1回研究では、モデル説明が異なる教育課程に適合するかどうかを評価する「教育者」の役割を担っている。 GPT-4による説明は、意図した教育的背景に合致するが、通常の人間による説明では79%であった。
  論文  参考訳（メタデータ） (2025-06-17T05:36:39Z)
• MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors [82.91830877219822]
  我々は、総合的なチューリングモデル評価のためのオープンソースのベンチマークであるMathTutorBenchを紹介する。 MathTutorBenchには、ダイアログベースの教育における科学の研究によって定義された、家庭教師の能力をカバーするデータセットとメトリクスが含まれている。 閉鎖的およびオープンウェイトなモデルの幅広いセットを評価し、問題解決能力によって示される課題の専門知識が、すぐには良い教育に変換されないことを発見した。
  論文  参考訳（メタデータ） (2025-02-26T08:43:47Z)
• Do Tutors Learn from Equity Training and Can Generative AI Assess It? [2.116573423199236]
  本研究では,教師のスキル向上のためのオンライン授業において,教師のパフォーマンスを評価する。 教師の自己報告による知識への信頼度の増加に伴い,学習の習得率が著しく向上することがわかった。 この作業では、レッスンログデータ、チューター応答、人間のアノテーション用のルーブリック、生成AIプロンプトのデータセットが利用可能になる。
  論文  参考訳（メタデータ） (2024-12-15T17:36:40Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。