論文の概要: A Factorial Ablation of a Speech-to-SFT Pipeline: Differential Effects on Data Quality and Downstream Transfer

• arxiv url: http://arxiv.org/abs/2608.20394v1
• Date: Wed, 01 Jul 2026 03:11:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.309313
• Title: A Factorial Ablation of a Speech-to-SFT Pipeline: Differential Effects on Data Quality and Downstream Transfer
• Title（参考訳）: 音声-SFTパイプラインの係数アブレーション:データ品質と下流転送に対する差分効果
• Abstract要約: 実運用可能なSFTパイプラインを設計する。 フェーズ0とSFTデータ品質改善は独立して切り替え可能である。 フェーズ2は、SFTデータ構成を説明項目にシフトする。 6人のレイパーは全員、全ピペリンの質が高いと報告している。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Industry pipelines that turn speech into supervised fine-tuning (SFT) data via multi-stage refinement are increasingly adopted but, to our knowledge, have not been publicly ablated stage-by-stage, leaving each stage's marginal value unknown. We design a production-ready speech-to-SFT pipeline in which transcript refinement (Phase 0) and SFT data quality refinement (Phase 2) are independently toggleable, yielding a 2x2 factorial design. For each condition, we generate QA-form SFT data from Korean medical and finance conference recordings and fine-tune 9 models (5 LLM families, 2.4B-70B); we evaluate with four cross-provider LLM judges, a blind six-expert human evaluation, and 3 downstream MCQA benchmarks. Our central finding: under a fixed, standard SFT recipe, improvements in QA data quality do not transfer uniformly into downstream MCQA gains. 4-judge quality rises consistently, yet the cross-model mean MCQA gain is not significant; positive transfer concentrates on family-domain aligned pairs. This differential pattern is consistent with a format mismatch: Phase 2 shifts SFT-data composition toward explanatory items, while MCQA primarily probes factoid recall. All six human raters report higher full-pipeline quality, confirming the LLM-judge direction. An STT-engine swap to Whisper-medium confirms pipeline robustness. A non-hallucination audit shows the two frontier LLMs admit unknown on approximately 8% of QA on average; we release samples, prompts, code, and all SFT checkpoints.
• Abstract（参考訳）: 音声を教師付き微調整(SFT)データに変換する産業用パイプラインは、多段階改良によってますます採用されているが、我々の知る限り、段階別に公然とされていないため、各段階の限界値が不明である。 我々は,SFTデータ品質改善(Phase 0)とSFTデータ品質改善(Phase 2)を独立に切り替え可能な実運用対応の音声-SFTパイプラインを設計し,2x2因子設計を実現した。 各条件について,韓国の医療・金融会議記録とファインチューン9モデル (5 LLM family, 2.4B-70B) からQA形式のSFTデータを生成する。 我々の中心的な発見: 固定された標準のSFTレシピの下では、QAデータ品質の改善は、下流MCQAゲインに均一に転送されない。 4-judgeの品質は一貫して上昇するが,クロスモデルではMCQAゲインは有意ではない。 この差分パターンはフォーマットミスマッチと一致している: フェーズ2はSFTデータ合成を説明項目にシフトし、MCQAは主にファクトイドリコールを探索する。 フルピペリン品質が向上し, LLM-judge方向が確認された。 STTエンジンのWhisper-mediumへの交換はパイプラインの堅牢性を確認する。 非幻覚検査では、平均的なQAの約8%で2つのフロンティアLSMが未知を認めており、サンプル、プロンプト、コード、全SFTチェックポイントを公表している。

関連論文リスト

• Beyond Exact Match: How Evaluation Methodology Dominates Model Choice in LLM-Based Product Attribute Extraction [0.0]
  ゼロショット、少数ショット、スキーマ誘導、定義強化の4つのプロンプト戦略を、2つのプロダクショングレードの大規模言語モデルと比較する。 評価手法はモデル選択の約23倍のばらつきを生じることがわかった。 生産特性抽出パイプラインでは, 評価手法とデータ品質が, モデル選択と迅速なエンジニアリングの影響を支配していると結論づける。
  論文  参考訳（メタデータ） (2026-07-24T23:25:16Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Self-Calibrating Language Models via Test-Time Discriminative Distillation [18.46710400838861]
  大規模言語モデル(LLM)は、しばしば間違って答える質問に対して体系的に過度に信頼されている。 我々は、テスト時間トレーニング(TTT)パイプラインである$textbfSECL$ ($textbfSE$lf-$textbfC$alibrating $textbfL$anguage Modelsを紹介します。
  論文  参考訳（メタデータ） (2026-03-18T13:28:50Z)
• The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning [11.95095463048743]
  事前学習から教師付き微調整(SFT)への言語モデル機能移行について検討する。 我々の実験によると、トランスファーの信頼性は機能カテゴリ、ベンチマーク、スケールによって劇的に変化している。 これらの発見は、事前学習の決定と下流の結果の間の複雑な相互作用に光を当てた。
  論文  参考訳（メタデータ） (2026-02-11T09:46:40Z)
• Evaluating the Impact of Post-Training Quantization on Reliable VQA with Multimodal LLMs [12.376901102913417]
  学習後量子化(PTQ)圧縮が視覚質問応答(VQA)の精度と信頼性に与える影響について検討する。 我々は、量子化されたマルチモーダル設定に対してセレクタ信頼度推定器を適用し、そのロバスト性を様々な量子化レベルとアウト・オブ・ディストリビューション(OOD)シナリオでテストする。
  論文  参考訳（メタデータ） (2026-02-08T20:06:24Z)
• From Global to Granular: Revealing IQA Model Performance via Correlation Surface [83.65597122328133]
  我々は, IQA 性能の構造化, きめ細かな解析を行う textbfGranularity-Modulated correlation (GMC) を提案する。 GMCにはtextbfDistribution Regulatorが含まれており、相関関係を規則化し、非均一な品質分布からのバイアスを軽減する。 標準ベンチマークの実験では、GCCはスカラーメトリクスに見えないパフォーマンス特性を示し、IQAモデルを分析、比較、デプロイするためのより情報に富んだ信頼性の高いパラダイムを提供する。
  論文  参考訳（メタデータ） (2026-01-29T13:55:26Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)
• Long Grounded Thoughts: Distilling Compositional Visual Reasoning Chains at Scale [70.23466957404891]
  多様なスキルと複雑さのレベルにまたがる新しい推論データ生成フレームワークを,100万以上の高品質な合成視覚中心の質問で紹介する。 データ上のQwen2.5-VL-7Bの微調整は、すべての評価されたビジョン中心のベンチマークにおいて、すべてのオープンデータベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-11-07T20:50:54Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner Party Transcription [73.66530509749305]
  本稿では,難しい場合であっても,ハイブリッドベースラインに近い性能を示すエンドツーエンドアプローチについて論じる。 CTC-Attention と RNN-Transducer のアプローチと RNN と Transformer のアーキテクチャを比較し,解析する。 RNN-Transducerをベースとしたベストエンド・ツー・エンドモデルでは、ビームサーチの改善とともに、LF-MMI TDNN-F CHiME-6 Challengeのベースラインよりも品質が3.8%向上した。
  論文  参考訳（メタデータ） (2020-04-22T19:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。