論文の概要: Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs

• arxiv url: http://arxiv.org/abs/2606.29534v1
• Date: Sun, 28 Jun 2026 17:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.953166
• Title: Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs
• Title（参考訳）: Preference-ASR:音声LLM時代におけるASRのベンチマークテストセット
• Abstract要約: 提案するPreferenceASRは,自然言語の嗜好指示に従う能力に基づいて,ASRシステムを評価するテストセットである。 7つのオープンソースコーパスから構築され、好み対応正規化器を用いて評価される。 4つのモデルのベンチマークでは、ランク付けが好みのタイプによって変わることを示し、従来の評価の曖昧さを露呈する。
• 参考スコア（独自算出の注目度）: 45.890088282084086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Popular ASR test sets adopt inconsistent conventions for numbers, disfluencies, entities, and casing, while standard normalizers erase the format distinctions users care about. Current benchmarks therefore cannot measure whether a model follows user preferences for output style. We introduce PreferenceASR, a test set evaluating ASR systems on their ability to follow natural-language preference instructions across four categories: normalization, entities, disfluencies, and case. Built from seven open-source corpora via a two-stage LLM-assisted pipeline with human verification, it is evaluated with a preference-aware normalizer that selectively skips steps matching the active instruction. Benchmarking four models shows rankings shift across preference types, exposing quality differences traditional evaluation obscures. We publicly release the dataset.
• Abstract（参考訳）: 一般的なASRテストセットは、数値、分散、エンティティ、ケーシングの一貫性のない規約を採用しており、標準正規化器はユーザーが気にする形式を消している。 したがって、現在のベンチマークでは、モデルが出力スタイルのユーザの好みに従うかどうかを測定することができない。 提案するPreferenceASRは, 正規化, 実体, 分散度, ケースの4つのカテゴリにまたがって, 自然言語の嗜好指示に従う能力について, ASRシステムを評価するテストセットである。 オープンソースの7つのコーパスを,人間の検証による2段階LLM支援パイプラインを用いて構築し,能動命令にマッチするステップを選択的にスキップする優先認識正規化器を用いて評価する。 4つのモデルのベンチマークでは、ランク付けが好みのタイプによって変わることを示し、従来の評価の曖昧さを露呈する。 データセットを公開しています。

関連論文リスト

• Low-Resource Preference Adaptation of LLMs via Activation-Based Label Propagation [6.262888209373497]
  言語モデルが、その中間表現における嗜好情報をエンコードする方法について検討する。 選択された応答と拒否された応答からのアクティベーションは、事前訓練されたモデルであっても、層をまたいだ異なるクラスタを形成する。 この構造を実行し、ラベル付き選好ペアの軽量線形プローブをトレーニングし、それを用いて大きな未ラベルデータセットを注釈付けする。
  論文  参考訳（メタデータ） (2026-08-31T14:52:19Z)
• User Preference Induction with LLMs for Offline Top-N Recommendation Evaluation [5.10348690267577]
  オフラインレコメンデータ評価における妥当性判断の枠組みを提案する。 我々のアプローチは2つの補完的な役割で大きな言語モデルを使用する。 実験により,この手法はオフライントップN評価の堅牢性を向上させるための有望な戦略であることが示された。
  論文  参考訳（メタデータ） (2026-07-13T10:16:24Z)
• APM: Evaluating Style Personalization in LLMs with Arbitrary Preference Mappings [43.5967188676583]
  Arbitrary Preference Mapping ベンチマークを導入し,ユーザの属性を応答特性の嗜好にマッピングする。 $mathbfC$は意味的内容を持たないので、モデルはステレオタイプ的関連を利用できない。 Llama-3.1-8B と Qwen-3.5-27B で検索・最適化・ルーティング・パーソナライズ手法を適用した。
  論文  参考訳（メタデータ） (2026-05-20T11:47:40Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Listwise Preference Diffusion Optimization for User Behavior Trajectories Prediction [41.53271688465831]
  ユーザ行動軌跡予測(UBTP)を,長期ユーザの嗜好を明示的にモデル化するタスク設定として定式化する。 項目列全体に対して構造化された嗜好を直接最適化する拡散に基づくトレーニングフレームワークであるリスワイズ・ディフュージョン・最適化(LPDO)を導入する。 多段階の予測品質を厳密に評価するために、正確な軌跡合意を計測するタスク特異的な逐次マッチング(SeqMatch)を提案し、確率的忠実度を評価するパープレキシティ(PPL)を採用する。
  論文  参考訳（メタデータ） (2025-11-01T12:16:24Z)
• In-context Ranking Preference Optimization [65.5489745857577]
  In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。 IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
  論文  参考訳（メタデータ） (2025-04-21T23:06:12Z)
• Group Preference Alignment: Customized LLM Response Generation from In-Situ Conversations [36.29709573877113]
  グループ選好アライメントは、ユーザグループ間での会話選好における文脈固有のバリエーションを特定する。 当社のフレームワークは,ユーザの好みに対する出力のアライメントを大幅に改善し,ベースライン手法よりも優れています。
  論文  参考訳（メタデータ） (2025-03-11T04:32:54Z)
• Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
  選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。 1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T01:58:19Z)
• Rank-Preference Consistency as the Appropriate Metric for Recommender Systems [4.3166389349316425]
  我々は、一元的不変なレコメンダシステム(RS)の性能は、基本的なRS特性を評価できないと論じる。 本稿では,ユーザの表現された製品嗜好と矛盾する予測ペアの数を単純に数えるランク-参照整合性を提案する。
  論文  参考訳（メタデータ） (2024-04-26T01:11:07Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Set2setRank: Collaborative Set to Set Ranking for Implicit Feedback based Recommendation [59.183016033308014]
  本稿では,暗黙的フィードバックの特徴を探究し,推奨するSet2setRankフレームワークを提案する。 提案するフレームワークはモデルに依存しず,ほとんどの推奨手法に容易に適用できる。
  論文  参考訳（メタデータ） (2021-05-16T08:06:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。