論文の概要: Predicting Compact Phrasal Rewrites with Large Language Models for ASR Post Editing

• arxiv url: http://arxiv.org/abs/2501.13831v1
• Date: Thu, 23 Jan 2025 16:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:46.833266
• Title: Predicting Compact Phrasal Rewrites with Large Language Models for ASR Post Editing
• Title（参考訳）: ASRポスト編集のための大規模言語モデルによるコンパクトなフレーズ書き換え予測
• Authors: Hao Zhang, Felix Stahlberg, Shankar Kumar,
• Abstract要約: LLM(Large Language Models)は、テキストスタイルの転送や文法的誤り訂正といったタスクの書き直しに優れた言語モデルである。 本稿では,フレーズに基づく統計的機械翻訳に触発された代替語句表現を提案する。
• 参考スコア（独自算出の注目度）: 18.962260162806988
• License:
• Abstract: Large Language Models (LLMs) excel at rewriting tasks such as text style transfer and grammatical error correction. While there is considerable overlap between the inputs and outputs in these tasks, the decoding cost still increases with output length, regardless of the amount of overlap. By leveraging the overlap between the input and the output, Kaneko and Okazaki (2023) proposed model-agnostic edit span representations to compress the rewrites to save computation. They reported an output length reduction rate of nearly 80% with minimal accuracy impact in four rewriting tasks. In this paper, we propose alternative edit phrase representations inspired by phrase-based statistical machine translation. We systematically compare our phrasal representations with their span representations. We apply the LLM rewriting model to the task of Automatic Speech Recognition (ASR) post editing and show that our target-phrase-only edit representation has the best efficiency-accuracy trade-off. On the LibriSpeech test set, our method closes 50-60% of the WER gap between the edit span model and the full rewrite model while losing only 10-20% of the length reduction rate of the edit span model.
• Abstract（参考訳）: LLM(Large Language Models)は、テキストスタイルの転送や文法的誤り訂正といったタスクの書き直しに優れた言語モデルである。 これらのタスクには入力と出力の間にかなりの重複があるが、重複の量に関係なく、デコードコストは出力長とともに増加する。 金子と岡崎(2023)は、入力と出力の重なりを生かして、書き直しを圧縮して計算を節約するために、モデルに依存しない編集スパン表現を提案した。 彼らは、4つの書き換えタスクで最小限の精度で出力長削減率を80%近く報告した。 本稿では,語句に基づく統計的機械翻訳に触発された代替語句表現を提案する。 我々は,この表現をその表現と体系的に比較した。 我々は,LLM書き換えモデルを自動音声認識(ASR)ポスト編集のタスクに適用し,目標フレーズのみの編集表現が最適な効率・精度のトレードオフを有することを示す。 LibriSpeech テストセットでは,編集スパンモデルと完全書き直しモデルとの WER ギャップの50-60% を閉じる一方で,編集スパンモデルの長さ削減率の10-20% しか失われない。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• Reducing Sequence Length by Predicting Edit Operations with Large Language Models [50.66922361766939]
  本稿では,ローカルなシーケンス変換タスクに対して,ソーステキストの編集スパンを予測することを提案する。 編集スパンの監督データに大規模言語モデルに対する命令チューニングを適用する。 実験の結果,提案手法は4つのタスクにおいて,ベースラインに匹敵する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-05-19T17:51:05Z)
• Converge to the Truth: Factual Error Correction via Iterative Constrained Editing [30.740281040892086]
  最小限の編集で事実誤り訂正(FEC)を行う新しい手法であるVENCEを提案する。 VENCEは、FEC問題を目標密度関数に対する反復サンプリング編集動作として定式化する。 公開データセットでの実験では、VENCEは以前の最遠距離で監督された手法よりもよく測定されたSARIの基準を5.3(または11.8%の相対的な改善)改善している。
  論文  参考訳（メタデータ） (2022-11-22T10:03:13Z)
• Improving Factual Consistency in Summarization with Compression-Based Post-Editing [146.24839415743358]
  この問題に対処するためのモデルに依存しない方法は、生成された要約を後編集することであることを示す。 本稿では,文圧縮データを用いて後編集モデルを訓練し,特別なトークンでマークされた外在的エンティティエラーを要約する手法を提案する。 我々は,このモデルがROUGEを維持しながら事実整合性を向上し,XSum上でのエンティティ精度を最大30%向上し,他のポストエディタ上でも適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T13:35:38Z)
• Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
  逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。 本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。 タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
  論文  参考訳（メタデータ） (2022-07-29T20:39:02Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)
• Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems [27.483603895258437]
  そこで本研究では,文脈的スペル補正モデルをエンド・ツー・エンドのASRシステム上に付加することで,コンテキストバイアスを行う新しい手法を提案する。 本稿では,大規模コンテキストリストを扱うフィルタリングアルゴリズムと,モデルのバイアス度を制御する性能バランス機構を提案する。 実験の結果,提案手法はASRシステムよりも51%の相対単語誤り率(WER)の低減を実現し,従来のバイアス法よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-02T06:00:48Z)
• FastCorrect: Fast Error Correction with Edit Alignment for Automatic Speech Recognition [90.34177266618143]
  編集アライメントに基づく新しいNAR誤り訂正モデルであるFastCorrectを提案する。 fastcorrectは推論を6-9倍高速化し、自己回帰補正モデルと比較して精度を8-14%向上させる。 ニューラルマシン翻訳で採用されている一般的なNARモデルの精度を、大きなマージンで上回っています。
  論文  参考訳（メタデータ） (2021-05-09T05:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。