論文の概要: Multimodal Speaker Identification in Classroom Environments

• arxiv url: http://arxiv.org/abs/2606.13712v1
• Date: Wed, 10 Jun 2026 19:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.513523
• Title: Multimodal Speaker Identification in Classroom Environments
• Title（参考訳）: 教室環境におけるマルチモーダル話者識別
• Authors: Michael L. Chrzan, Meghavarshini Krishnaswamy, Robert Gibboni, Katie Wetstone, Wei Ai, Jing Liu,
• Abstract要約: 本研究は,音響埋め込みを意味文脈で固定したマルチモーダル話者識別フレームワークについて検討する。 5秒以上の発話でもパフォーマンスが向上し、76.9%の精度に達した。 このアプローチは,個別の学生参加を考慮した自動フィードバックシステムの実現可能性を高める。
• 参考スコア（独自算出の注目度）: 8.435123799169675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated analysis of K-12 classroom dynamics faces challenges due to background noise and variable child speech, often confounding acoustic-only models. This study evaluates a multimodal speaker identification framework anchoring acoustic embeddings with LLM-derived semantic context. Using a subset of the EDSI dataset (8 math classrooms, N = 2,801 utterances), we found an acoustic baseline (ECAPA-TDNN) achieved only 39.0% accuracy. By integrating transcript-based "contextual anchoring" into a gradient boosting classifier, our multimodal approach raised student identification to 50.3%. Performance also improved for utterances over 5 seconds, reaching 76.9% accuracy (vs. 64.9% baseline) with a 90.9% Top-3 accuracy. Additionally, the model distinguished teacher vs. student roles with 99.3% accuracy. This approach advances the feasibility of automated feedback systems capable of considering individual student participation, a crucial step for supporting equitable instruction at scale.
• Abstract（参考訳）: K-12教室のダイナミックスの自動解析は、背景雑音や可変子音による課題に直面し、しばしば音響のみのモデルと矛盾する。 本研究は,LLMに基づく意味文脈で音響埋め込みをアンカーするマルチモーダル話者識別フレームワークについて検討する。 EDSIデータセットのサブセット(8つの数学教室、N = 2,801の発話)を用いて、音響ベースライン(ECAPA-TDNN)がわずか39.0%の精度で得られた。 テキストベースの「コンテクストアンカリング」を勾配増強分類器に組み込むことで, 学生識別は50.3%に向上した。 5秒以上の発話でもパフォーマンスが向上し、76.9%の精度(対64.9%のベースライン)と90.9%のTop-3の精度を実現した。 さらに、モデルが99.3%の精度で教師と生徒の役割を区別した。 本手法は,学生の参加を考慮した自動フィードバックシステムの実現可能性を高める。

関連論文リスト

• Cognitive-Uncertainty Guided Knowledge Distillation for Accurate Classification of Student Misconceptions [11.509375725817195]
  既存のデータから高価値サンプルをマイニングする2段階の知識蒸留フレームワークを提案する。 フィルタされたサンプルのわずか10.30%で強化トレーニングを行うことで、MAP-Chartingデータセットで0.9585 (+17.8%)のMAP@3を達成する。 4Bパラメータモデルのみを用いて、中学代数学の誤概念ベンチマークのクロストピックテストにおいて84.38%の精度が得られる。
  論文  参考訳（メタデータ） (2026-05-14T12:17:38Z)
• One Whisper to Grade Them All [10.035434464829958]
  複数部からなる第2言語テストの総合的自動発話評価(ASA)に対して,効率的なエンドツーエンドアプローチを提案する。 我々のシステムの主な特徴は、4つの音声応答を1つのWhisper小エンコーダで処理できることである。 このアーキテクチャは、書き起こしや部品ごとのモデルの必要性を排除し、推論時間を短縮し、ASAを大規模コンピュータ支援型言語学習システムに活用する。
  論文  参考訳（メタデータ） (2025-07-23T20:31:40Z)
• INTACT: Inducing Noise Tolerance through Adversarial Curriculum Training for LiDAR-based Safety-Critical Perception and Autonomy [0.4124847249415279]
  本稿では、雑音の多いLiDARデータに対するディープニューラルネットワーク(DNN)の堅牢性を高めるために設計された新しいフレームワークを提案する。 IntACTは、メタラーニングと、敵対的なカリキュラムトレーニング(ACT)を組み合わせることで、3Dポイントクラウドにおけるデータの破損とスパーシリティによる課題に対処する。 IntACTの有効性は、オブジェクトの検出、追跡、分類ベンチマークに関する包括的な評価を通じて実証される。
  論文  参考訳（メタデータ） (2025-02-04T00:02:16Z)
• Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking [68.77659513993507]
  我々は,多言語ASRの精度を向上させるため,単純かつ効果的なN-best再分類手法を提案する。 その結果, 音声認識の精度は8.7%, 6.1%, 単語誤り率は3.3%, 単語誤り率は2.0%であった。
  論文  参考訳（メタデータ） (2024-09-27T03:31:32Z)
• Analyzing And Improving Neural Speaker Embeddings for ASR [54.30093015525726]
  本稿では,コンバータをベースとしたハイブリッドHMM ASRシステムに,ニューラルスピーカーの埋め込みを統合するための取り組みについて述べる。 話者埋め込みを用いたコンフォーマーベースハイブリッドASRシステムは, SWB 300hでのトレーニングにより, Hub5'00 と Hub5'01 で 9.0% WER を達成する。
  論文  参考訳（メタデータ） (2023-01-11T16:56:03Z)
• Low-complexity deep learning frameworks for acoustic scene classification [64.22762153453175]
  音響シーン分類(ASC)のための低複雑さ深層学習フレームワークを提案する。 提案するフレームワークは、フロントエンドのスペクトログラム抽出、オンラインデータ拡張、バックエンドの分類、予測される確率の後期融合の4つの主要なステップに分けることができる。 DCASE 2022 Task 1 Development データセットで実施した実験は,低複雑さの要求を十分に満たし,最も高い分類精度を 60.1% で達成した。
  論文  参考訳（メタデータ） (2022-06-13T11:41:39Z)
• Scenario Aware Speech Recognition: Advancements for Apollo Fearless Steps & CHiME-4 Corpora [70.46867541361982]
  本稿では、TRILLと呼ばれる三重項損失に基づく自己監督基準で訓練された一般的な非意味的音声表現について考察する。 我々は、Fearless Stepsの開発と評価のために、+5.42%と+3.18%の相対的なWER改善を観察した。
  論文  参考訳（メタデータ） (2021-09-23T00:43:32Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)
• Bayesian Learning for Deep Neural Network Adaptation [57.70991105736059]
  音声認識システムにおける重要な課題は、しばしば話者差に起因する訓練データと評価データとのミスマッチを減らすことである。 モデルに基づく話者適応手法は、ロバスト性を確保するために十分な量のターゲット話者データを必要とすることが多い。 本稿では,話者依存型(SD)パラメータの不確かさをモデル化するための,ベイズ学習に基づくDNN話者適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-14T12:30:41Z)
• Fully Learnable Front-End for Multi-Channel Acoustic Modeling using Semi-Supervised Learning [20.97480659815297]
  遠距離場自動音声認識のための完全学習可能なマルチチャネル音響モデルを訓練する。 学生は多チャンネル特徴抽出層と上位分類層を共同で訓練した。 ビームフォーマを用いたマルチチャネルモデルと比較して,事前学習により単語誤り率が10.7%向上することがわかった。
  論文  参考訳（メタデータ） (2020-02-01T02:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。