論文の概要: Evolutionary Prompt Design for LLM-Based Post-ASR Error Correction

• arxiv url: http://arxiv.org/abs/2407.16370v1
• Date: Tue, 23 Jul 2024 10:38:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 17:36:04.708098
• Title: Evolutionary Prompt Design for LLM-Based Post-ASR Error Correction
• Title（参考訳）: LLMを用いたASR後誤差補正のための進化的プロンプト設計
• Authors: Rithik Sachdev, Zhong-Qiu Wang, Chao-Han Huck Yang,
• Abstract要約: 生成誤り訂正(GEC)は、現代の自動音声認識(ASR)システムの性能を高めるための、有望なパラダイムとして登場した。 既存のプロンプトがASR後の誤り訂正のタスクに最も有効なものかどうかはまだ分かっていない。 本稿ではまず,初期プロンプトを同定する代替プロンプトについて検討し,その初期プロンプトを改良するための進化的プロンプト最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 22.27432554538809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building upon the strength of modern large language models (LLMs), generative error correction (GEC) has emerged as a promising paradigm that can elevate the performance of modern automatic speech recognition (ASR) systems. One representative approach is to leverage in-context learning to prompt LLMs so that a better hypothesis can be generated by the LLMs based on a carefully-designed prompt and an $N$-best list of hypotheses produced by ASR systems. However, it is yet unknown whether the existing prompts are the most effective ones for the task of post-ASR error correction. In this context, this paper first explores alternative prompts to identify an initial set of effective prompts, and then proposes to employ an evolutionary prompt optimization algorithm to refine the initial prompts. Evaluations results on the CHiME-4 subset of the Task $1$ of the SLT $2024$ GenSEC challenge show the effectiveness and potential of the proposed algorithms.
• Abstract（参考訳）: 現代大規模言語モデル (LLM) の強みを生かして, 生成誤り訂正 (GEC) は, 現代の自動音声認識 (ASR) システムの性能向上に寄与する有望なパラダイムとして出現している。 1つの代表的なアプローチは、文脈内学習を利用してLSMを誘導し、慎重に設計されたプロンプトと、ASRシステムによって生成された仮説の$N$-bestリストに基づいて、より優れた仮説をLSMによって生成できるようにすることである。 しかし、既存のプロンプトがASR後の誤り訂正のタスクに最も有効なものかどうかはまだ不明である。 そこで本研究では,まず,有効プロンプトの初期セットを特定するための代替プロンプトについて検討し,初期プロンプトを改良するための進化的プロンプト最適化アルゴリズムを提案する。 SLT 2024$ GenSEC Challengeのタスク1ドルのCHiME-4サブセットの評価結果は、提案アルゴリズムの有効性と可能性を示している。

関連論文リスト

• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• $\textit{LinkPrompt}$: Natural and Universal Adversarial Attacks on Prompt-based Language Models [13.416624729344477]
  Promptベースの学習は、トレーニング済み言語モデル(PLM)を下流タスクに適応させる新しい言語モデルトレーニングパラダイムである。 本研究は, 対向トリガを生成する逆攻撃アルゴリズムである $textitLinkPrompt$ を開発する。
  論文  参考訳（メタデータ） (2024-03-25T05:27:35Z)
• Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models [9.688626139309013]
  Retrieval-Augmented Generationは、大規模言語モデルからテキスト生成の信頼性を向上させる手段として考えられている。 本研究では,プロンプトに短い接頭辞を挿入しても,実際の正解から遠く離れたアウトプットを生成することを発見した。 グラディエントガイドプロンプト摂動法(Gradient Guided Prompt Perturbation)と呼ばれる新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-11T12:25:41Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Multi-stage Large Language Model Correction for Speech Recognition [10.995600950995021]
  我々は,大言語モデル(LLM)のASR出力の不確実性推定と推論能力を利用した,新しい多段階的アプローチを提案する。 提案手法の有効性を,WERが競合するASRシステムよりも10% 20% 向上していることを示す。
  論文  参考訳（メタデータ） (2023-10-17T19:02:40Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Generative Speech Recognition Error Correction with Large Language Models and Task-Activating Prompting [32.70214938434769]
  本稿では,大規模言語モデル(LLM)の音声認識後処理機能について検討する。 我々は、ゼロショットと少数ショットのインコンテキスト学習と、新しいタスクアクティベーション・プロンプト法という、異なるプロンプト方式を評価する。 凍結LDMを用いた文脈内学習でのみ再構成を行うことで、ドメインチューニングLMによる再構成と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-27T13:36:03Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Leveraging Large Language Models for Exploiting ASR Uncertainty [16.740712975166407]
  大規模な言語モデルは、書き起こしのための既製の音声認識システムに依存するか、あるいは内蔵された音声モダリティを備える必要がある。 我々は,高い単語誤り率でLLMの発話意図を理解する能力を制限する音声意図分類タスクに取り組む。 我々は,誤り発生1-best仮説に代えて,ASR仮説のn-bestリストでLLMを推し進めることを提案する。
  論文  参考訳（メタデータ） (2023-09-09T17:02:33Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。