論文の概要: Corpus Quality Improves, Retrieval Utility Does Not: An Ablation of Preprocessing and Refinement in a Speech-to-QA Pipeline
- arxiv url: http://arxiv.org/abs/2610.27652v1
- Date: Tue, 20 Oct 2026 05:11:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.659304
- Title: Corpus Quality Improves, Retrieval Utility Does Not: An Ablation of Preprocessing and Refinement in a Speech-to-QA Pipeline
- Title（参考訳）: コーパスの品質向上と検索の実用性:QAパイプラインにおける前処理とリファインメントのアブレーション
- Abstract要約: コンファレンススピーチを質問と回答のペアに変換する生産パイプラインを廃止します。
それぞれをオン/オフで切り替えると、同じ40の韓国の医療・金融セッションの4つのコーパスが提供される。
コーパス自体では、ステージがオンになると品質が上がる。
- 参考スコア（独自算出の注目度）: 0.17188280334580194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Practitioners building training corpora with a pipeline of language models keep a preprocessing or refinement (post-process) stage when switching it on raises the corpus quality. We ablate a production pipeline that turns conference speech into question-answer pairs. The preprocessing stage rewrites the transcript, and the refinement stage filters the generated pairs. Switching each on and off gives four corpora from the same 40 Korean medical and finance sessions. On the corpus itself, quality rises as the stages switch on. Four LLM judges and six human domain experts rank the four corpora the same way, and the fully refined corpus leads by +0.18 and +0.22 on a 1-5 scale. We then ask whether that gain carries downstream. We supply each corpus to six models at inference and measure retrieval accuracy. The ranking does not hold. Enabling the transcript rewrite lowers retrieval accuracy by 0.061, the only stage effect that survives correction for multiple comparisons. That stage also reads the whole session, so it almost doubles the cost of one. With both stages on, accuracy does not change. An equivalence test we declared in advance confirms this. The corpus itself is clearly valuable. It lifts retrieval accuracy from 0.231 to 0.748 in every model and domain we test. More than a third of its pairs carry knowledge that neither of two frontier models produces on its own. On our data, the null does not come from weak corpora. A rising score on a rubric of this kind did not predict what the corpus holds for a model.
- Abstract（参考訳）: 言語モデルのパイプラインでトレーニングコーパスを構築する実践者は、コーパスの品質を高めるために、前処理や改善(後処理)ステージを維持します。
コンファレンススピーチを質問と回答のペアに変換する生産パイプラインを廃止します。
プリプロセッシングステージは書き直しを行い、精製ステージは生成されたペアをフィルタリングする。
それぞれをオン/オフで切り替えると、同じ40の韓国の医療・金融セッションの4つのコーパスが提供される。
コーパス自体では、ステージがオンになると品質が上がる。
4人のLSM判事と6人のドメインの専門家が同じ方法で4つのコーパスをランク付けし、完全に改良されたコーパスは1-5スケールで+0.18と+0.22をリードする。
そして、その利益が下流に流れるかどうかを尋ねる。
各コーパスを推論時に6つのモデルに供給し、精度を計測する。
順位は未定。
書き起こしの書き直しは、複数の比較の修正を継続する唯一のステージ効果である0.061の精度を低下させる。
そのステージもセッション全体を読み取るので、コストはほぼ2倍になる。
どちらの段階でも精度は変わらない。
前もって宣言した同値テストで、これを確認します。
コーパス自体は明らかに価値がある。
テスト対象のモデルとドメイン毎に0.231から0.748に精度を上げます。
ペアの3分の1以上は、2つのフロンティアモデルが単独では生成しないという知識を持っている。
私たちのデータでは、nullは弱いコーパスから来ません。
この種のルーリックの上昇スコアは、コーパスがモデルに保持するものを予測しなかった。
関連論文リスト
- Cross-subject decoding of imagined speech from scalp EEG: a leakage-controlled evaluation on three public corpora [0.0]
我々は2020年の国際脳-コンピュータインタフェースコンペティションの3つの公開コーパス、ds003626、KaraOne、Track 3を分析した。
482人以上の受講者を受講したが、複数の比較の修正は成功しなかった。
これらのコーパスでは、想像された音声コンテンツは、検討した表現を通して人間を移動しなかった。
論文 参考訳（メタデータ） (2026-10-14T21:25:50Z) - An Explainable System for Offensive Content Detection in Nastaliq Urdu: Corpus Curation, Transformer Benchmarking, and Word-Level Attribution [3.756550107432323]
7604 Nastaliq Urdu Facebookコメントのコーパスをリリースしました。
共通のグリッドサーチプロトコルで4つのUrdu対応トランスを微調整する。
左右のレンダリングに適応した単語レベルのSHAP属性を計算する。
論文 参考訳（メタデータ） (2026-10-11T17:33:09Z) - Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction [0.0]
近傍のトークンペア数から構築されたスムーズな予測器を用いて, 50,257 個の GPT-2 ボキャブラリを用いて, マスケテキストの再構成を行った。
それぞれの資料を1つの観測として扱うことで、2つの独立コーパスに適合する予測器間の相違を予想する1次式を導出する。
TinyStories、WikiText-103、CNN/DailyMailでは、各コーパスを512から2,048チャンクの64トークンに成長させ、不一致をわずか5-40%減らした。
論文 参考訳（メタデータ） (2026-10-09T04:40:47Z) - A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks [1.7077661158850292]
大規模言語モデルでは,忘れられる場所や理由を解析する。
本稿では,トレーニング中の出力予測にのみAdamのエプシロンを上昇させるという介入を提案する。
論文 参考訳（メタデータ） (2026-10-07T11:01:01Z) - The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora [0.0]
我々は、維持されたコーパスに置換可能な言語モデルを基盤とするノードを構築し、その成功した外観評価がサポートできるかどうかを尋ねました。
10台のモデルで目標名リコールが0.265から0.92に引き上げられた。
コピーベースライン、表示されたコンテキストの冗長コピーのリコールは、既に達成され、0.964でスコアされ、すべてのモデルは0.022から0.067の下に位置する。
論文 参考訳（メタデータ） (2026-09-21T16:53:00Z) - Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。
Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
論文 参考訳（メタデータ） (2026-07-15T17:16:24Z) - CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。
我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
論文 参考訳（メタデータ） (2026-06-23T02:56:48Z) - Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。
教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。
これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
論文 参考訳（メタデータ） (2026-06-21T16:27:24Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - M3ST: Mix at Three Levels for Speech Translation [66.71994367650461]
本稿では,M3ST法を3段階に分けて提案し,拡張学習コーパスの多様性を高める。
ファインチューニングの第1段階では、単語レベル、文レベル、フレームレベルを含む3段階のトレーニングコーパスを混合し、モデル全体を混合データで微調整する。
MuST-C音声翻訳ベンチマークと分析実験により、M3STは現在の強いベースラインより優れ、平均的なBLEU29.9の8方向の最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2022-12-07T14:22:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。