論文の概要: Ceci n'est pas une explication: Evaluating Explanation Failures as Explainability Pitfalls in Language Learning Systems
- arxiv url: http://arxiv.org/abs/2604.26145v1
- Date: Tue, 28 Apr 2026 22:05:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.185248
- Title: Ceci n'est pas une explication: Evaluating Explanation Failures as Explainability Pitfalls in Language Learning Systems
- Title（参考訳）: Ceci n'est pas une explication: 言語学習システムにおける説明可能性の落とし穴としての説明失敗の評価
- Authors: Ben Knight, Wm. Matthew Kennedy, James Edgell,
- Abstract要約: 本稿では,言語教育におけるAIシステム評価のためのベンチマークを提案する。
効果的なフィードバックの6つの重要な次元に関して、AIシステムがいかに失敗するかを分析します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: AI-powered language learning tools increasingly provide instant, personalised feedback to millions of learners worldwide. However, this feedback can fail in ways that are difficult for learners--and even teachers--to detect, potentially reinforcing misconceptions and eroding learning outcomes over extended use. We present a portion of L2-Bench, a benchmark for evaluating AI systems in language education that includes (but is not limited to) six critical dimensions of effective feedback: diagnostic accuracy, awareness of appropriacy, causes of error, prioritisation, guidance for improvement, and supporting self-regulation. We analyse how AI systems can fail with respect to these dimensions. These failures, which we argue are conducive to "explainability pitfalls," are AI-generated explanations that appear helpful on the surface but are fundamentally flawed, increasing the risk of attainment, human-AI interaction, and socioaffective harms. We discuss how the specific context of language learning amplifies these risks and outline open questions we believe merit more attention when designing evaluation frameworks specifically. Our analysis aims to expand the community's understanding of both the typology of explainability pitfalls and the contextual dynamics in which they may occur in order to encourage AI developers to better design safe, trustworthy, and effective AI explanations.
- Abstract（参考訳）: AIを利用した言語学習ツールは、世界中の何百万人もの学習者に即時、パーソナライズされたフィードバックを提供するようになっている。
しかし、このフィードバックは、学習者にとって、そして教師にとっても難しい方法で失敗する可能性がある。
言語教育におけるAIシステム評価のためのベンチマークであるL2-Benchの一部を提示する。このベンチマークには、診断精度、妥当性の認識、エラーの原因、優先順位付け、改善のためのガイダンス、自己統制のサポートという、効果的なフィードバックの6つの重要な側面が含まれている。
これらの次元に関して、AIシステムがいかに失敗するかを分析します。
これらの失敗は、"説明可能性の落とし穴"に導かれるものであり、表面的には役に立つように見えるが、根本的な欠陥があり、達成のリスク、人間とAIの相互作用、社会的影響のある害を増大させる、AIによる説明である。
言語学習の特定の文脈がこれらのリスクをいかに増幅するかを議論し、特に評価フレームワークを設計する際に、より有益であると信じているオープンな質問を概説する。
我々の分析は、AI開発者が安全で信頼性があり、効果的なAIの説明をより良く設計するよう促すために、説明可能性の落とし穴のタイプロジーと、それらが起こる可能性のある文脈的ダイナミクスの両方に対するコミュニティの理解を広げることを目的としています。
関連論文リスト
- Large Language Models as Students Who Think Aloud: Overly Coherent, Verbose, and Confident [0.8564319625930894]
大規模言語モデル(LLM)は、AIベースの学習システムにますます組み込まれている。彼らは、初心者の推論とメタ認知的判断を忠実にモデル化できるだろうか?
学生のヒント使用,試行,問題文脈の問題解決ログを用いた化学チュータリング問題からの630のシンクアラウド発話を用いて,LSMを初心者として評価した。
そこで本研究では,LLM生成推論と人間の学習者発話を,最小限で拡張された文脈的プロンプトで比較し,ステップレベルの学習者成功を予測するモデルの能力を評価する。
論文 参考訳（メタデータ） (2026-02-01T04:46:38Z) - Understanding the Dilemma of Unlearning for Large Language Models [50.54260066313032]
Unlearningは、大きな言語モデル(LLM)から特定の知識を取り除こうとしている。
提案するunPactは,帰納的帰属とコントリビューショントラッキングによるアンラーニングのための解釈可能なフレームワークである。
論文 参考訳（メタデータ） (2025-09-29T12:15:19Z) - Beyond Detection: Designing AI-Resilient Assessments with Automated Feedback Tool to Foster Critical Thinking [0.0]
本研究は, 検出ではなく, 評価設計に基づく能動的AIレジリエントソリューションを提案する。
WebベースのPythonツールで、Bloomの分類と高度な自然言語処理技術を統合する。
これは、タスクがリコールや要約のような下位の思考や、分析、評価、作成といった上位のスキルを目標にしているかどうかを教育者が判断するのに役立つ。
論文 参考訳（メタデータ） (2025-03-30T23:13:00Z) - AI in Education: Rationale, Principles, and Instructional Implications [0.0]
ChatGPTのような生成AIは、人間のようなコンテンツを作り、その教育的役割について疑問を呈する。
この研究は、AIが真の認知的努力を補うのではなく、確実に補完する意図的な戦略を強調している。
論文 参考訳（メタデータ） (2024-12-02T14:08:07Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳（メタデータ） (2023-11-13T21:20:17Z) - An Objective Metric for Explainable AI: How and Why to Estimate the
Degree of Explainability [3.04585143845864]
本稿では, 客観的手法を用いて, 正しい情報のeX説明可能性の度合いを測定するための, モデルに依存しない新しい指標を提案する。
私たちは、医療とファイナンスのための2つの現実的なAIベースのシステムについて、いくつかの実験とユーザースタディを設計しました。
論文 参考訳（メタデータ） (2021-09-11T17:44:13Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳（メタデータ） (2021-07-28T17:32:04Z) - LioNets: A Neural-Specific Local Interpretation Technique Exploiting
Penultimate Layer Information [6.570220157893279]
解釈可能な機械学習(IML)は研究の緊急のトピックである。
本稿では,テキストデータと時系列データに適用される局所的,神経特異的な解釈プロセスに焦点を当てる。
論文 参考訳（メタデータ） (2021-04-13T09:39:33Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。