論文の概要: AcoustiClaim: A Numeric Claim Benchmark with Instrument Ground Truth

• arxiv url: http://arxiv.org/abs/2609.30483v1
• Date: Thu, 24 Sep 2026 19:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.117267
• Title: AcoustiClaim: A Numeric Claim Benchmark with Instrument Ground Truth
• Title（参考訳）: AcoustiClaim: インストゥルメンタルグラウンド真実を用いた数値クレームベンチマーク
• Abstract要約: AcoustiClaimは、自由テキストから各数値のクレームを抽出し、その量を定義する計器と、参照が読み取れる各量に対してスコア付けする。 4つのオープンウェイトシステムと1つのクローズドモデルにより、207細胞を充填する2つのコーパスに10種類の5つの方法が求められた。
• 参考スコア（独自算出の注目度）: 40.60147451749375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio language models state numbers for acoustic quantities, and neither human opinion nor a judge model says whether such a number is true of the signal. AcoustiClaim extracts each numeric claim from free text, scores it against the instrument that defines the quantity, and classes each quantity by where its reference can be read. Four open-weight systems and one closed model, asked for ten quantities five ways on two corpora, fill 207 cells. Of these, 49 emit fewer than five distinct values, and eight of the 158 cells that can be ranked exceed a rank correlation of 0.3, the bar we set, three with an interval clear of it, five of them one closed model reading pitch. Error sits at or above a constant-predictor floor in every ranked cell but three. The reference decoder we train declines the five voice quantities in prose on 95% of mixtures, with nothing withheld, and states them on the clean twins, reproducing its targets' rule from audio alone. With a calibrated threshold, withholding lowers error on all ten quantities on the mixtures in the mean and on eight at every split, against at most 0.6% from a random selector. A linear baseline orders errors at least as well as ours. F0 s.d. and shimmer stay above the constant floor.
• Abstract（参考訳）: 音響言語モデルは音響量の数値を記述しており、人間の意見も判断モデルも、そのような数字が信号の真であるかどうかを定めていない。 AcoustiClaimは、自由テキストから各数値のクレームを抽出し、その量を定義する計器と、参照が読み取れる各量に対してスコア付けする。 4つのオープンウェイトシステムと1つのクローズドモデルにより、207細胞を充填する2つのコーパスに10種類の5つの方法が求められた。 これらのうち、49は5つの異なる値以下を出力し、ランク付け可能な158セルのうち8セルは0.3のランク相関を超え、私たちが設定したバーは3つであり、その内5つは1つの閉じたモデル読解ピッチである。 エラーは、各ランクのセルのうち3つを除いて、一定の予測器の床の上か上に位置する。 私たちが訓練している基準デコーダは、95%の混合文で5つの音声量を減らし、何も持たないまま、クリーンツインに記述し、ターゲットのルールをオーディオのみから再現する。 校正しきい値では、平均の混合量に対して平均の10量すべてで誤差を低くし、各スプリットにおいて8回、ランダムセレクタから少なくとも0.6%の誤差を下げる。 線形ベースラインは、少なくとも私たちのものと同様にエラーを順序付けします。 F0 s.d.とシマーは一定の床の上にとどまる。

関連論文リスト

• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• How much of a measured AI preference is the model, and how much is the instrument? [0.0]
  この研究では、結果とモデルが固定され、楽器単独で変化する。 結論として、ある楽器から得られる好みは、第2の機器が何を報告するかについてのほとんど情報を持たない。
  論文  参考訳（メタデータ） (2026-08-24T02:23:11Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• Measuring Alignment With Reader Highlights Net of Position and Length [1.8620637029128544]
  120のウェブ文書(少なくとも12の独立した読者)では、言語モデルに重点を置くランキングが38.4%と一致した隣人の19.9%に対して群衆マーク付き文を維持している。 GPT-5.4 (+0.002 [-0.081, +0.088]) と区別できない 0.182 に到達し、5以下となる。
  論文  参考訳（メタデータ） (2026-07-30T06:24:38Z)
• Myovox: Reading Speech from the Muscles of the Face [0.0]
  ミオボックスは、発声時の顔の筋肉から記録された31チャンネル表面筋電図(sEMG)から英語のオープン語彙をデコードする。 51.17%のワードエラー率から18.53%までの1つのサブジェクト Emg2speech General Corpus を3つの分離可能な動作で分離して測定する。
  論文  参考訳（メタデータ） (2026-07-15T17:00:41Z)
• Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers [0.0]
  大きな言語モデルがブランドを推奨するかどうかを測定するチームは、問題に直面します。 評価されたブランドスコアは、少なくとも4つの分離可能な理由(即時再サンプリング、フレーズのプロンプト、モデルアイデンティティ、クエリ言語)で動きます。
  論文  参考訳（メタデータ） (2026-07-14T22:12:52Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。