論文の概要: Interpretable, Fairly Evaluated Automated L2 Speaking Assessment that Beats the Single-Human Ceiling and Why Pause Encoding Does Not Change LLM Fluency Scores

• arxiv url: http://arxiv.org/abs/2608.26137v1
• Date: Thu, 25 Jun 2026 17:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.359203
• Title: Interpretable, Fairly Evaluated Automated L2 Speaking Assessment that Beats the Single-Human Ceiling and Why Pause Encoding Does Not Change LLM Fluency Scores
• Title（参考訳）: 単一Humanシーリングに勝るものと、なぜポーズエンコーディングがLLM周波数スコアを変えないのかを、解釈可能で公平に評価したL2自動評価
• Abstract要約: 自然発生L2対話のための解釈可能な機能+LLMハイブリッドを構築した。 ICNALE Global Rating Archive: 140 Speechs rated by 80 trained Raters on 10 analysis criteria。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Second-language (L2) English learners can rarely rehearse speaking with a partner. Speaking is also the most anxiety-laden skill. These gaps drive a fast-growing market for automated speaking practice and scoring. But an automated score is trustworthy only if it is accurate, interpretable, fair, and benchmarked against the right human bar. We build an interpretable feature-plus-LLM hybrid for spontaneous L2 dialogue. We evaluate it without ever fitting to the human labels, against the ICNALE Global Rating Archive: 140 speeches rated by ~80 trained raters on 10 analytic criteria. We score the 130 L2 speeches with usable audio. A deterministic De-Jong speech-timing composite reaches rho=0.764. Blended with a single text-LLM fluency judgment, it reaches Spearman rho=0.818 against the consensus gold. This agrees with the consensus better than 81% of the 80 individual trained raters: above the median rater (rho=0.73) and near the best, and at ~83% of the reliability-corrected maximum (kappa_max=0.99). The blend improves on the composite alone by +0.054 (paired-bootstrap 95% CI [0.017, 0.108], excludes 0); the LLM adds a coarse fluency ranking that the continuous composite refines. We also report a controlled null on pause encoding, bounded to effects below about +/-0.1 rho at this sample size. Holding the LLM and learner words fixed and varying only how pauses are written into the prompt, inline pause locations do not beat aggregate pause statistics (-0.069, CI [-0.15, +0.08]), and a grounded mid-clause criterion gives no reliable gain. The fluency signal comes from the measured speech-timing features, not from how pauses are written for the LLM. We back every claim with two agreeing learner-isolation methods, paired-bootstrap CIs, a monologue negative control, per-feature reproduction of classical measurements, and a per-L1 fairness audit.
• Abstract（参考訳）: 第二言語 (L2) 英語の学習者は、パートナーと話すことはめったにない。 会話は最も不安に満ちたスキルでもある。 これらのギャップは、自動発話と得点のための市場を急速に拡大させます。 しかし、自動化されたスコアは、正確で、解釈可能で、公正で、正しい人間のバーに対してベンチマークされている場合にのみ、信頼できる。 自然発生L2対話のための解釈可能な機能+LLMハイブリッドを構築した。 ICNALE Global Rating Archive: 140 speechs rated by ～80 trained Raters on 10 analysis criteria。 使用可能な音声で130のL2音声をスコアする。 決定論的デジョン音声入力合成がrho=0.764に達する。 単一のテキスト-LLM流布判定で、コンセンサスゴールドに対してSpearman rho=0.818に達する。 これは、訓練された80人のラッカーの81%よりも、中央値(rho=0.73)と最高値(kappa_max=0.99)よりも高く、信頼性が補正された最大値(kappa_max=0.99)の約83%に一致している。 ブレンドは、+0.054(paired-bootstrap 95% CI [0.017, 0.108], excludes 0)のみに改善され、LLMは、連続した複合品が洗練する粗いフルーエンシランキングを付加する。 また、このサンプルサイズで約+/-0.1 rho以下のエフェクトにバウンドされたポーズエンコーディングにおいて、制御されたヌルを報告した。 LLMと学習者の単語を固定し、プロンプトに停止がどのように書き込まれるかだけを変更させると、インラインの停止位置は集計停止統計(-0.069, CI [-0.15, +0.08])を破らない。 流速信号は、LLMのための停止書き方ではなく、計測された音声刺激の特徴から来ている。 我々は,2つの一致した学習者アイソレーション手法,ペアリングブートストラップCI,モノローグ陰性制御,古典的測定の機能ごとの再現,L1の公正度監査によって,すべての主張を裏付ける。

関連論文リスト

• A Probe Shift Is Not a Fairness Fix: The Limits of Representation Steering in Speech Models [9.715150075665354]
  我々は、事前訓練されたASRエンコーダから線形に読み取れる話者リンク属性が、グループ単語エラー率のギャップを減らすのに有用な方向を与えるかどうかを問う。 本研究は,表現,伝播,タスクレベルでの発話バイアス介入の評価を動機づけるものである。
  論文  参考訳（メタデータ） (2026-09-16T12:01:30Z)
• When Does a Laugh Begin? Structured Annotator Disagreement in Temporal Laughter Localization [0.0]
  注釈者は、笑いの境界と微妙なチャックルにいつも反対する。 この不一致は、ランダムノイズではなく、構造化されていることを示す。 本稿では,全アノテータ分布に対する予測値を評価する不一致校正評価を提案する。
  論文  参考訳（メタデータ） (2026-09-06T14:56:26Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• Slogans or Stance? A Label-Light Diagnostic for Entrepreneurial-Discourse Measurement on Chinese SOE Speeches [4.972323953932128]
  コーポレートスピーチにおける「起業家精神」などの構成物を測定するために,ラベル光測定を用いた。 中央管理の中国国有企業のリーダーによる80件の演説のコーパスにおいて,我々は自然実験を生かした。 金F1は、外部構造回復ではなく、LCM自身のプロンプトルールとの整合性を測定する。
  論文  参考訳（メタデータ） (2026-05-27T23:56:42Z)
• Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
  大規模音声言語モデル(LALM)のMIA評価について述べる。 テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。 以上の結果から, LALM検査の基準基準が確立された。
  論文  参考訳（メタデータ） (2026-03-30T12:45:28Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
  本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
  論文  参考訳（メタデータ） (2023-08-09T07:51:40Z)
• BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
  エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。 本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。