論文の概要: A Unified and Reproducible Experimentation Framework for Speech Understanding
- arxiv url: http://arxiv.org/abs/2605.30899v1
- Date: Fri, 29 May 2026 06:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.422914
- Title: A Unified and Reproducible Experimentation Framework for Speech Understanding
- Title(参考訳): 音声認識のための統一・再現可能な実験フレームワーク
- Abstract要約: SUREは、予測フォーマット、正規化、スコアリングを標準化する統合実験フレームワークである。
本稿では,予測形式,正規化,スコアリングを標準化した統一実験フレームワークSUREを提案する。
- 参考スコア(独自算出の注目度): 44.73703262229875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech foundation models and Speech LLMs have advanced speech understanding, yet deployment-oriented model selection is hindered by non-comparable evaluations caused by mismatched post-processing, and by training results that are hard to reproduce across data scales and pipelines. We present SURE, a unified experimentation framework that standardizes prediction formats, normalization, and scoring. SURE evaluates strong systems across paradigms, from conventional pipelines to Speech LLMs, on representative tasks under realistic acoustic and linguistic stressors. Beyond evaluation, SURE introduces an agent-assisted training conversion flow that maps paper and code into versioned, runnable training pipelines under a unified protocol on matched open-data subsets. Overall, SURE improves comparability and reproducibility for deployment-oriented evaluation.
- Abstract(参考訳): 音声基礎モデルと音声LLMは、高度な音声理解を持つが、デプロイメント指向モデル選択は、ミスマッチした後処理による非互換性評価や、データスケールやパイプライン間で再現が難しいトレーニング結果によって妨げられる。
本稿では,予測形式,正規化,スコアリングを標準化した統一実験フレームワークSUREを提案する。
SUREは、従来のパイプラインから音声LLMまで、現実的な音響的および言語的ストレス下での代表的なタスクにおいて、パラダイムを越えて強力なシステムを評価する。
評価以外にも、SUREでは、エージェント支援のトレーニング変換フローを導入している。これは、紙とコードを、マッチしたオープンデータサブセット上で統一されたプロトコルの下で、バージョン管理された実行可能なトレーニングパイプラインにマッピングするものだ。
全体として、SUREはデプロイメント指向の評価におけるコンパラビリティと再現性を改善します。
関連論文リスト
- PARM: Pipeline-Adapted Reward Model [60.769414637325326]
リワードモデル(RM)は、大規模言語モデル(LLM)を人間の好みと整合させることの中心であり、高度な復号化戦略を推進している。
これまでの作業はシングルステップ生成に重点を置いていたが、現実のアプリケーションはますますマルチステージパイプラインを採用するようになっている。
我々は、最適化のためのコード生成を通じてこれを調査し、報酬モデルを定式化とソリューション段階の両方に統合するパイプラインを構築する。
論文 参考訳(メタデータ) (2026-04-20T14:29:08Z) - A Dialectic Pipeline for Improving LLM Robustness [0.0]
ドメイン固有のデータの微調整や、別のテキスト化されたホック検証器の訓練といった手法は、計算資源を必要とする。
本稿では,LLMの一般化能力を保ちながら,自己対話による解の質を向上する弁証的パイプラインを提案する。
提案した弁証法パイプラインは,標準モデル解の有意なマージンによって性能を向上できることがわかった。
論文 参考訳(メタデータ) (2026-01-28T14:42:49Z) - Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。
本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。
トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
論文 参考訳(メタデータ) (2026-01-05T10:16:41Z) - AURORA: Augmented Understanding via Structured Reasoning and Reinforcement Learning for Reference Audio-Visual Segmentation [113.75682363364004]
AURORAは、参照音声視覚セグメント化における真の推論と言語理解を強化するために設計されたフレームワークである。
AURORAはRef-AVSベンチマークの最先端性能を達成し、非参照セグメンテーションに効果的に一般化する。
論文 参考訳(メタデータ) (2025-08-04T07:47:38Z) - A Novel Data Augmentation Approach for Automatic Speaking Assessment on Opinion Expressions [8.717610965852037]
与えられた熟練度の多様な応答を生成するための新しい訓練パラダイムを提案する。
応答を話者対応音声合成により合成音声に変換する。
マルチモーダルな大言語モデルは、整列したテキスト特徴と音声信号を統合して、習熟度を直接予測する。
論文 参考訳(メタデータ) (2025-06-04T15:42:53Z) - Improving Generalization of Speech Separation in Real-World Scenarios: Strategies in Simulation, Optimization, and Evaluation [45.76004686788507]
本研究では,様々な環境やコンテンツから多様なトレーニングデータを生成する新しいデータシミュレーションパイプラインを提案する。
一般的な音声分離モデルの品質向上のための新しい訓練パラダイムを提案する。
論文 参考訳(メタデータ) (2024-08-28T20:26:34Z) - Policy-Gradient Training of Language Models for Ranking [29.940468096858066]
テキスト検索は、意思決定の事実知識を言語処理パイプラインに組み込む上で重要な役割を担っている。
現在の最先端テキスト検索モデルは、事前訓練された大規模言語モデル(LLM)を活用して、競争性能を達成する。
我々は、LLMをPlanet-Luceランキングポリシーとしてインスタンス化することでランク付けを学ぶ新しいトレーニングアルゴリズムであるNeural PG-RANKを紹介する。
論文 参考訳(メタデータ) (2023-10-06T17:55:23Z) - How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク
ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。
本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
論文 参考訳(メタデータ) (2023-06-01T04:52:26Z) - An Exploration of Self-Supervised Pretrained Representations for
End-to-End Speech Recognition [98.70304981174748]
本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。
いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
論文 参考訳(メタデータ) (2021-10-09T15:06:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。