論文の概要: From Black Box to Transparency: Enhancing Automated Interpreting Assessment with Explainable AI in College Classrooms

• arxiv url: http://arxiv.org/abs/2508.10860v1
• Date: Thu, 14 Aug 2025 17:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.432137
• Title: From Black Box to Transparency: Enhancing Automated Interpreting Assessment with Explainable AI in College Classrooms
• Title（参考訳）: ブラックボックスから透明性へ:大学の授業における説明可能なAIによる自動解釈アセスメントの強化
• Authors: Zhaokun Jiang, Ziyin Zhang,
• Abstract要約: 本稿では,機能工学,データ拡張,説明可能な機械学習を統合した多次元モデリングフレームワークを提案する。 このアプローチは、構成関連で透明な特徴のみを活用することにより、ブラックボックスの予測よりも説明可能性を重視する。
• 参考スコア（独自算出の注目度）: 0.6650227510403052
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advancements in machine learning have spurred growing interests in automated interpreting quality assessment. Nevertheless, existing research suffers from insufficient examination of language use quality, unsatisfactory modeling effectiveness due to data scarcity and imbalance, and a lack of efforts to explain model predictions. To address these gaps, we propose a multi-dimensional modeling framework that integrates feature engineering, data augmentation, and explainable machine learning. This approach prioritizes explainability over ``black box'' predictions by utilizing only construct-relevant, transparent features and conducting Shapley Value (SHAP) analysis. Our results demonstrate strong predictive performance on a novel English-Chinese consecutive interpreting dataset, identifying BLEURT and CometKiwi scores to be the strongest predictive features for fidelity, pause-related features for fluency, and Chinese-specific phraseological diversity metrics for language use. Overall, by placing particular emphasis on explainability, we present a scalable, reliable, and transparent alternative to traditional human evaluation, facilitating the provision of detailed diagnostic feedback for learners and supporting self-regulated learning advantages not afforded by automated scores in isolation.
• Abstract（参考訳）: 近年の機械学習の進歩により、自動解釈品質評価への関心が高まっている。 それでも、既存の研究は、言語使用品質の検証が不十分であり、データの不足と不均衡による不満足なモデリングの有効性、そしてモデル予測を説明する努力の欠如に悩まされている。 これらのギャップに対処するために,機能工学,データ拡張,説明可能な機械学習を統合した多次元モデリングフレームワークを提案する。 このアプローチでは、コンストラクト関連で透明な機能のみを利用し、Shapley Value(SHAP)分析を行うことで、‘black box’の予測よりも説明責任を優先する。 以上の結果から, BLEURTとCometKiwiのスコアは, 文節性, 文節性, 文節性, 文節性, 文節性, 文節性, 文節性, 文節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音節性, 音, 音節性, 音色, 音色, 音, 音, 音 全体として、説明可能性に特に重点を置いて、従来の人間の評価に対するスケーラブルで信頼性が高く透明な代替手段を示し、学習者に対して詳細な診断フィードバックの提供を容易にし、自動スコアが不要な自己規制学習の利点をサポートする。

関連論文リスト

• Fine-Grained Bias Detection in LLM: Enhancing detection mechanisms for nuanced biases [0.0]
  本研究では,Large Language Models (LLMs) におけるニュアンスバイアス検出フレームワークを提案する。 このアプローチは、コンテキスト分析、注意機構による解釈可能性、および反ファクトデータ拡張を統合して、隠れたバイアスをキャプチャする。 その結果,従来の方法に比べて微妙な偏見の検出精度が向上した。
  論文  参考訳（メタデータ） (2025-03-08T04:43:01Z)
• ReLearn: Unlearning via Learning for Large Language Models [64.2802606302194]
  本研究では、効果的なアンラーニングのためのデータ拡張および微調整パイプラインであるReLearnを提案する。 このフレームワークでは、知識レベルの保存を測定するために、知識獲得率(KFR)と知識保持率(KRR)を導入している。 実験の結果,ReLearnは高品質な出力を保ちながら,目標とするリセットを実現することができた。
  論文  参考訳（メタデータ） (2025-02-16T16:31:00Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• Evaluating Explainability in Machine Learning Predictions through Explainer-Agnostic Metrics [0.0]
  我々は,モデル予測が説明できる範囲を定量化するために,6つの異なるモデルに依存しないメトリクスを開発した。 これらのメトリクスは、局所的な重要性、グローバルな重要性、代理予測など、モデル説明可能性のさまざまな側面を測定する。 分類と回帰タスクにおけるこれらのメトリクスの実用性を実証し、これらのメトリクスを公開のために既存のPythonパッケージに統合する。
  論文  参考訳（メタデータ） (2023-02-23T15:28:36Z)
• On the Reliability and Explainability of Language Models for Program Generation [15.569926313298337]
  自動プログラム生成手法の能力と限界について検討する。 私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。 解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T14:59:52Z)
• AcME -- Accelerated Model-agnostic Explanations: Fast Whitening of the Machine-Learning Black Box [1.7534486934148554]
  解釈可能性のアプローチは、ユーザが待つことなく、実行可能な洞察を提供するべきです。 本稿では,グローバルレベルとローカルレベルの両方で特徴的重要性のスコアを迅速に提供する解釈可能性アプローチである,アクセレーションモデル非依存説明(AcME)を提案する。 AcMEは機能ランキングを計算しますが、機能値の変化がモデル予測にどのように影響するかを評価するために、What-if分析ツールも提供しています。
  論文  参考訳（メタデータ） (2021-12-23T15:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。