論文の概要: No Detectable Change in Side-Level WER from Prompt-Level Context: A Preregistered Ablation on a Production Oral-History Corpus

• arxiv url: http://arxiv.org/abs/2608.28875v1
• Date: Fri, 28 Aug 2026 21:26:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.774298
• Title: No Detectable Change in Side-Level WER from Prompt-Level Context: A Preregistered Ablation on a Production Oral-History Corpus
• Title（参考訳）: プロンプトレベル文脈からの側レベルWERの検出不能変化:生産口頭歴史コーパスにおける事前登録アブレーション
• Abstract要約: 大規模なマルチモーダルモデルに推論時にコンテキストを供給することは、音声の書き起こしをドメインに適応させるための安価なレバーである。 本研究は、そのメカニズムを、自身の生産コーパスからのサンプルに基づいて、生産された口頭歴史書写ツールの即時条件付け層で検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supplying context at inference time to a large multimodal model is an inexpensive lever for adapting speech transcription to a domain, and earlier results on smaller models reported large gains. This work tested that mechanism where it ships, in the prompt-conditioning layer of a production oral-history transcription tool, on a sample from its own production corpus. Full prompt-level context did not detectably change side-level word error rate (WER), and none of the four preregistered hypotheses was supported. The design was a within-item paired ablation, preregistered with the analysis code frozen by hash before the confirmatory batch was scored; two disclosed gpt-4o pilot sides had been scored earlier, during scorer development. Nineteen cassette sides, about 10.6 hours of degraded 1970s-80s interview audio, were reprocessed through the production code path under three prompt arms, crossed with two deployed commercial configurations, gpt-4o-transcribe and gemini-2.5-flash, and scored against operator-corrected verbatim references. For gpt-4o-transcribe the median paired difference between the full-context and no-context arms was +0.6 WER points, with a side-resampled interval of [-1.1, +1.0]; the Gemini estimates were too unstable to support a comparable negative inference. A post-hoc rerun found run-to-run pipeline variability larger than the confirmatory differences, so effects of that size cannot be resolved from one transcription per cell. An implementation audit verified the manipulation was live, and sequence-alignment analysis found a small improvement on complete context-listed phrases, too small to materially change side-level WER, and for Gemini coexisting with worsened unlisted-token error. Evaluating context mechanisms therefore requires sequence-aligned term-level, insertion, and speaker-label measures alongside aggregate accuracy.
• Abstract（参考訳）: 大規模なマルチモーダルモデルに推論時のコンテキストを供給することは、音声の書き起こしをドメインに適応させるための安価なレバーであり、より小さなモデルでの以前の結果では大きな利得が報告された。 この研究は、自身の生産コーパスからサンプルを採取し、生産された口頭歴史書写ツールの即時条件層に出荷するメカニズムをテストした。 フルプロンプトレベルの文脈では、サイドレベルの単語誤り率(WER)は検出されず、事前登録された4つの仮説はいずれもサポートされなかった。 設計は、確認バッチが採点される前にハッシュによって凍結された解析コードと事前登録された、内部でペア化されたアブレーションであり、スコアラ開発中に2つの明らかにされたgpt-4oパイロットサイドが早期に測定された。 1970年代から80年代にかけて、9つのカセット側、約10.6時間の劣化した1970年代と80年代のインタビュー音声は、生産コードパスを3つの即発のアームで再処理し、gpt-4o-transcribeとgemini-2.5-flashという2つの商用構成と交差し、オペレータが修正した動詞の参照に対してスコアが付けられた。 gpt-4o-transcribe の場合、全コンテキストと非コンテキストのアームの中央値のペア差は +0.6 WER であり、[-1.1, +1.0] のサイドサンプル間隔は[-1.1, +1.0] であり、ジェミニ推定は同等の負の推論をサポートするには不安定すぎる。 ポストホック再実行では、確認的差異よりもラン・ツー・ランパイプラインの変動が大きいことが判明し、そのサイズの影響は細胞毎に1つの転写から解決できない。 実装監査により、操作がライブであることが確認され、シーケンスアライメント分析により、完全なコンテキストリスト付きフレーズが改善され、サイドレベルWERが実質的に変更されるには小さすぎることが判明した。 したがって、コンテキストメカニズムの評価には、集約精度とともにシーケンス整列項レベル、挿入、話者ラベル測定が必要である。

関連論文リスト

• Prediction of Prediction (PoP): Inter-Layer Activation Fusion for Single-Pass Hallucination Detection in Large Language Models [0.0]
  この研究は、生成中の内部の隠れ状態遷移ダイナミクスが、補助的な復号呼び出しを伴わずに事実エラーを信号化できるかどうかを評価する。 本稿では,層間遷移の不確実性を捉えるメカニズムである予測予測(PoP)を導入する。 PoPは受信機動作特性曲線(AUROC)の領域を75.5%の精度で達成している。
  論文  参考訳（メタデータ） (2026-08-27T14:17:14Z)
• Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency [0.025718125188898048]
  我々は,現時点のタスクを個別に保持するプロセスベンチトレースに対して,擬似アラームを計測する。 完了した監査 -> モデルのコンテキストにすでにある修復エピソードは、15のモデルxワードの組み合わせのうち15の偽のアラームを低くする。
  論文  参考訳（メタデータ） (2026-08-17T01:41:43Z)
• Making two action heads agree: coordination mechanisms and a runtime collapse certificate for flow-matching policies [13.05465000489116]
  フローマッチングポリシは、予測された各動きをジョイントとエンドエフェクタ空間にデコードする。 マルチモーダルタスクでは、独立してサンプリングされた枝は異なる有効なモードを選択することができ、誤警報を引き起こす。 2つの枝の調整方法とコストについて検討する。
  論文  参考訳（メタデータ） (2026-08-16T13:57:36Z)
• Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
  大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。 報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。 本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
  論文  参考訳（メタデータ） (2026-08-09T22:59:13Z)
• Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit [0.0]
  本稿では, 宣言的契約により, エージェントが自身の境界を公開し, 軌跡が生成される, 集合時間意味的自己分離を提案する。 エージェントはその推測を名付けるので、レビュアーは名前で無効にすることができます。 次に、宣言を削除して生き残るものについて尋ねる。カットポイントが仮説ではなく、モデルが行動ブロックを2倍の確率で支配仮説に属性付けする。 コードブラインドアノテータは、ランダム配置が11.5と一致し、機械的なテストを行う。
  論文  参考訳（メタデータ） (2026-08-03T14:27:58Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• A Held-Out Transition-Pair Falsifier for Long-Horizon Non-Abelian State Tracking [0.5076419064097734]
  有限非アベリア群追跡のためのホールドアウト遷移ペアファルシファイアを導入する。 制御された$S_3 times S_3$ベンチマークでは、長さ8列のみに基づいてトレーニングされた投影されたリカレント状態モデルがエラーのない最終状態予測を生成する。
  論文  参考訳（メタデータ） (2026-06-05T13:26:41Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
  HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。 標準メトリクスは、現れる可能性のある不整合を考慮していない。 本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
  論文  参考訳（メタデータ） (2023-01-14T15:43:07Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。