論文の概要: Scalable and Personalized Oral Assessments Using Voice AI

• arxiv url: http://arxiv.org/abs/2603.18221v1
• Date: Wed, 18 Mar 2026 19:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.824717
• Title: Scalable and Personalized Oral Assessments Using Voice AI
• Title（参考訳）: 音声AIを用いたスケーラブルでパーソナライズドな口腔アセスメント
• Abstract要約: 学生1人当たり15ドル(0.42ドル)で、学部AI/MLコースで36回の口腔検査を行ったシステムについて述べる。 LLMはルーブリックから動的に質問を生成するため、試験構造全体を事前に共有することができる。 マルチエージェントアーキテクチャは、各試験を構造化フェーズに分解し、3つのLLMファミリーのカウンシルが各転写をグレードする。
• 参考スコア（独自算出の注目度）: 0.14323566945483493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have broken take-home exams. Students generate polished work they cannot explain under follow-up questioning. Oral examinations are a natural countermeasure -- they require real-time reasoning and cannot be outsourced to an LLM -- but they have never scaled. Voice AI changes this. We describe a system that conducted 36 oral examinations for an undergraduate AI/ML course at a total cost of \$15 (\$0.42 per student), low enough to attach oral comprehension checks to every assignment rather than reserving them for high-stakes finals. Because the LLM generates questions dynamically from a rubric, the entire examination structure can be shared in advance: practice is learning, and there is no exam to leak. A multi-agent architecture decomposes each examination into structured phases, and a council of three LLM families grades each transcript through a deliberation round in which models revise scores after reviewing peer evidence, achieving inter-rater reliability (Krippendorff's $α$ = 0.86) above conventional thresholds. But the system also broke in instructive ways: the agent stacked questions despite explicit prohibitions, could not randomize case selection, and a cloned professorial voice was perceived as aggressive rather than familiar. The recurring lesson is that behavioral constraints on LLMs must be enforced through architecture, not prompting alone. Students largely agreed the format tested genuine understanding (70%), yet found it more stressful than written exams (83%) -- unsurprising given that 83% had never taken any oral examination. We document the full design, failure modes, and student experience, and include all prompts as appendices.
• Abstract（参考訳）: 大規模な言語モデルは家庭内試験に失敗している。 学生は、フォローアップの質問で説明できない洗練された仕事を生成します。 口頭検査は自然な対策であり、リアルタイムな推論が必要であり、LSMにアウトソースすることはできない。 音声AIがこれを変える。 本報告では,学部生のAI/MLコースにおいて,36回の口腔検査を合計15ドル(学生1人あたり0.42ドル)で実施したシステムについて述べる。 LLMはルーブリックから動的に質問を生成するため、試験構造全体を事前に共有することができる。 マルチエージェントアーキテクチャは各試験を構造化相に分解し、3つのLLMファミリーの協議会は、従来のしきい値より高い信頼性(クリッペンドルフの$α$ = 0.86)を達成し、ピアエビデンスをレビューした後のスコアをモデルが修正する検討ラウンドを通じて、各転写をグレードする。 エージェントは明示的な禁止にもかかわらず質問を積み重ね、ケースの選択をランダムにすることができず、クローン化された教授の声は親しみなく攻撃的であると認識された。 繰り返し見られる教訓は、LLMの振る舞いの制約はアーキテクチャを通して実施されなければならないということだ。 学生たちは、本質的な理解(70%)をテストしてみたが、83%が口頭検査を受けなかったことを考えると、書面試験(83%)よりもストレスが強いと判断した。 完全な設計、障害モード、学生体験を文書化し、すべてのプロンプトを付録として含めます。

関連論文リスト

• ChatGPT Solves All Tested Qiskit Homework Assignments [0.0]
  生成AIは、量子ソフトウェア教育における評価課題を生み出す。 本研究では,初歩的なQiskitの宿題が,学生が実行し,レビューし,議論しながら,自己学習可能かどうかを検討した。
  論文  参考訳（メタデータ） (2026-08-20T07:08:08Z)
• Grading Needs a Rubric, Not Intelligence [0.0]
  小さい言語モデルは、明示的なルーリックに対して格付けするときに、かなり高価なモデルと同じくらい確実に、オープンエンドの検査回答を格付けすることができる。 モデルファミリを2つのモデルファミリから6つのコスト効率モデル構成を3つの理由づけで評価した。
  論文  参考訳（メタデータ） (2026-08-18T16:00:05Z)
• Teaching a Large Language Model Tutor to Withhold the Answer: A Supervisor Architecture and an Evidence-Driven Method for Tuning Socratic Behavior [0.0]
  効果的な大規模言語モデル (LLM) チューターは、容易に作成できる答えを与えるために、しばしば辞退しなければならない。 本稿では,ターン毎の機械チェック可能な契約として回答保持を強制する教育システムについて報告する。 人間の被験者を使わない自動評価で行動を調整する。
  論文  参考訳（メタデータ） (2026-08-12T17:35:58Z)
• What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries [0.8415089854734883]
  この論文は、盲目チューリングテストの実験について報告し、イタリアの3つの法律専門家試験において、先導的なLLMのパフォーマンスを評価している。 この研究は、タスク固有の強み、制限、そして繰り返し起こる法的な失敗パターンを特定します。
  論文  参考訳（メタデータ） (2026-08-06T15:33:21Z)
• Automated grading of Linux/bash examinations using large language models: a four-level cognitive taxonomy approach [0.0]
  本稿では,4つのフロンティア大言語モデルが,短いLinux/bashコマンド応答のグルーピングにおいて,専門家による判断を近似できるかどうかを評価する。 この研究は、認知の複雑さと運用への影響を組み合わせた4段階の認知分類を採用する。 Gemini3.0 Proは、ルックス誘導のプロンプトで、人間とAIの最高の合意を達成した。
  論文  参考訳（メタデータ） (2026-07-02T17:01:47Z)
• Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
  不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。 GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。 GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
  論文  参考訳（メタデータ） (2026-04-21T16:45:29Z)
• FoundationalASSIST: An Educational Dataset for Foundational Knowledge Tracing and Pedagogical Grounding of LLMs [0.8399688944263842]
  FoundationalASSISTは、大規模言語モデルの研究に必要な完全な情報を提供する最初の英語教育データセットである。 5000人の学生による170万のインタラクションは、これまで追求できなかった研究の方向性を可能にしている。
  論文  参考訳（メタデータ） (2026-01-20T17:47:30Z)
• Beyond Memorization: Testing LLM Reasoning on Unseen Theory of Computation Tasks [8.210112631285666]
  大規模言語モデル(LLM)は、形式的な言語タスクにおいて強力なパフォーマンスを示している。 正規言語を用いた決定論的有限オートマトン (DFA) 構築のためのベンチマークを導入する。 モデルが実際の質問に対して完璧に精度を達成し、タスクに対して84-90%を達成できることを示すが、その精度は目に見えない問題に対して急激に低下する。
  論文  参考訳（メタデータ） (2026-01-19T21:00:31Z)
• Can Consumer Chatbots Reason? A Student-Led Field Experiment Embedded in an "AI-for-All" Undergraduate Course [0.7515394929245942]
  本稿では,ジョージ・メイソン大学のUNIV 182(AI4All)の中間プロジェクトとして,学生主導のフィールド実験を行った。 学生は、独自の推論タスクを設計し、現在使われている消費者チャットボット上で実行し、(i)回答の正しさと(ii)推論の有効性を評価した。 OpenAI GPT-5 と Claude 4.5 は最高平均解答精度 (86.2% と 83.8%) を獲得し、Grok 4 (82.5%) と Perplexity (73.1%) が続いた。
  論文  参考訳（メタデータ） (2025-12-28T22:51:25Z)
• MedForget: Hierarchy-Aware Multimodal Unlearning Testbed for Medical AI [66.0701326117134]
  MedForgetは、階層型を意識したマルチモーダルなアンラーニングテストベッドで、準拠する医療AIシステムを構築する。 既存の手法は,診断性能を低下させることなく,完全かつ階層性に配慮した忘れの解決に苦慮していることを示す。 階層レベルのコンテキストをプロンプトに徐々に追加する再構成攻撃を導入する。
  論文  参考訳（メタデータ） (2025-12-10T17:55:06Z)
• ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding [49.67493845115009]
  ELAIPBenchは、大規模言語モデルによるAI研究論文の理解を評価するために、ドメインの専門家によってキュレーションされたベンチマークである。 難易度は3つあり、浅い検索よりも非自明な推論に重点を置いている。 実験の結果、最高の性能のLSMは、人間の性能よりはるかに低い39.95%の精度しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-10-12T11:11:20Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• CLR-Bench: Evaluating Large Language Models in College-level Reasoning [17.081788240112417]
  大規模言語モデル(LLM)は、様々な言語理解タスクで顕著な性能を示した。 複雑な大学レベルの推論において,LLMを包括的に評価するためにCLR-Benchを提案する。
  論文  参考訳（メタデータ） (2024-10-23T04:55:08Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Large Language Models can Learn Rules [106.40747309894236]
  大規模言語モデル(LLM)を用いた推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。 リレーショナル推論、数値推論、概念学習に関する実験は、HtTが既存のプロンプト法を改善することを示す。 学習されたルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。
  論文  参考訳（メタデータ） (2023-10-10T23:07:01Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。