論文の概要: A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents
- arxiv url: http://arxiv.org/abs/2607.07985v1
- Date: Wed, 08 Jul 2026 23:24:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.363891
- Title: A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents
- Title（参考訳）: 全二重音声エージェントにおけるLALM音声判定器の信頼性評価
- Abstract要約: 2.5のFlash、3.5のFlash、3.1のProはジェミニファミリーの3つのモデルでテストされている。
我々の主要な証拠基盤は、3人のレイパーに対して検証されたGemini 2.5 Flashの地平線モデルを用いています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We report the empirical reliability of Gemini models as audio judges that score full-duplex agent conversations directly from the raw stereo waveform, tested across three models in the Gemini family: 2.5 Flash, 3.5 Flash, and 3.1 Pro. Our primary evidence base uses Gemini 2.5 Flash as the ground-truth model, validated against three calibrated human raters on 209 stereo sessions, scored on 8 production dimensions: 152 full-duplex conversations across 13 accent-and-condition strata, together with 57 adversarial defect-injected clips. The evidence for Gemini 2.5 Flash is consistent across three tests. (i) On 5 of 8 dimensions the LALM-human Spearman rho departs from the pairwise human-human rho by at most 0.07, and on 7 of 8 dimensions the two quantities 95 percent bootstrap confidence intervals overlap. (ii) The LALM agrees with the three-rater human mean within 1 point on 60 to 92 percent of sessions on 6 of 8 dimensions. (iii) On 45 of 48 (defect, dimension) cells the LALM is as sensitive as humans or better under Newcombe-Wilson 95 percent confidence intervals, though most of these are underpowered nulls rather than demonstrated parity. Rank-ordering ability transfers across the Gemini family: 3.5 Flash improves simple agreement to 8 of 8 dimensions, while 3.1 Pro rates several dimensions markedly lower than humans despite comparable rank correlation. A model swap should be re-validated on calibration specifically, not assumed from rank-correlation alone. We identify four areas where deployment requires care, and we estimate that human rating alone for our current evaluation cadence costs roughly two orders of magnitude more than the equivalent LALM workload. The data presented here provides a defensible empirical basis for deploying the LALM as a substitute or fourth rater on the dimensions where the evidence supports it.
- Abstract（参考訳）: 我々は、Geminiファミリーの3つのモデル – 2.5 Flash, 3.5 Flash, 3.1 Pro – でテストされた、生ステレオ波形から直接、フル二重エージェントの会話をスコアするオーディオ判断器として、Geminiモデルの実証的信頼性を報告した。
我々の主要なエビデンスベースは、Gemini 2.5 Flashを地平線モデルとして使用し、209回のステレオセッションで3つの校正された人間のラッカーに対して、13のアクセントと条件の層にわたる152のフルダブルプレックスの会話と57の対向的な欠陥注入のクリップで評価した。
Gemini 2.5 Flashの証拠は、3つのテストで一致している。
i) 8次元のうち5次元では、LALM-ヒトのスピアマンローは少なくとも0.07以上離れており、8次元の7次元では、2つの量95%のブートストラップ信頼区間が重複している。
(II)LALMは8次元の6つのセッションの60～92%で1点以内の3光線平均値と一致している。
3)48細胞のうち45細胞(欠陥、寸法)では、LALMはニューコム・ウィルソンの95%の信頼区間で人間に劣らず敏感である。
3.5 Flashは単純なコンセンサスを8次元中8次元に改善し、3.1 Proは同等の相関性にもかかわらず、人間よりもいくつかの次元を著しく低めている。
モデルスワップは、ランク相関のみからではなく、特にキャリブレーションで再検証されるべきである。
デプロイに注意を要する4つの領域を特定し、現在の評価ケイデンスにおいて、人間の評価だけでは、同等のLALMワークロードよりも約2桁のコストがかかると見積もっています。
ここで提示されたデータは、LALMを証拠が支持する寸法の代用または第4のレーダとしてデプロイするための、実証可能な基礎を提供する。
関連論文リスト
- Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳（メタデータ） (2026-08-21T20:06:08Z) - Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models [0.0]
大規模言語モデル (LLM) が人工群による群知能効果を近似できるかどうかを検討する。
960個のプロンプトを3つのプロプライエタリモデルで手動で実行し,制御実験を行った。
その結果, モデル内およびモデル間アグリゲーションによる一貫した誤差低減が得られ, 最大37ポイントの誤差低減が得られた。
論文 参考訳（メタデータ） (2026-06-30T09:30:53Z) - AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。
これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。
NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
論文 参考訳（メタデータ） (2026-06-15T13:50:26Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - Lightweight Complementary-Cue Fusion for Robust Video Face Forgery Detection [16.800905609731178]
2つの手工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工芸工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工工
Xceptionベースラインモデルに基づいて、低周波ウェーブレット分解特徴(WDF)と位相スペクトルチャネルを組み合わせた1x1畳み込みを加えたLFWSという2つの検出器を構築した。
論文 参考訳（メタデータ） (2026-05-27T20:51:04Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。
MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。
この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
論文 参考訳（メタデータ） (2026-05-21T07:42:47Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z) - The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。
Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。
12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
論文 参考訳（メタデータ） (2026-04-15T08:56:58Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳（メタデータ） (2025-10-16T05:29:36Z) - MMMOS: Multi-domain Multi-axis Audio Quality Assessment [49.48516314472825]
既存の非侵襲的評価モデルでは、音声の1つの平均オピニオンスコア(MOS)を予測する。
MMMOSは、プロダクション品質、生産複雑さ、コンテンツ満足度、コンテンツ有用性という4つの軸を推定する、非参照マルチドメインオーディオ品質評価システムである。
MMMOSは平均2乗誤差が20-30%減少し、ケンドールのタウ対ベースラインが4-5%増加した。
論文 参考訳（メタデータ） (2025-07-05T16:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。