論文の概要: Speech-based Slot Filling using Large Language Models
- arxiv url: http://arxiv.org/abs/2311.07418v1
- Date: Mon, 13 Nov 2023 15:54:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 13:45:45.065860
- Title: Speech-based Slot Filling using Large Language Models
- Title(参考訳): 大型言語モデルを用いた音声によるスロット充填
- Authors: Guangzhi Sun, Shutong Feng, Dongcheng Jiang, Chao Zhang, Milica
Ga\v{s}i\'c, Philip C. Woodland
- Abstract要約: 本稿では,大言語モデル(LLM)の雑音ASR転写によるスロット充填への応用の可能性について検討する。
ノイズASR転写によるスロット充填におけるLCMのロバスト性向上のための設計と微調整手法が提案されている。
- 参考スコア(独自算出の注目度): 15.226786670710409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, advancements in large language models (LLMs) have shown an
unprecedented ability across various language tasks. This paper investigates
the potential application of LLMs to slot filling with noisy ASR
transcriptions, via both in-context learning and task-specific fine-tuning.
Dedicated prompt designs and fine-tuning approaches are proposed to improve the
robustness of LLMs for slot filling with noisy ASR transcriptions. Moreover, a
linearised knowledge injection (LKI) scheme is also proposed to integrate
dynamic external knowledge into LLMs. Experiments were performed on SLURP to
quantify the performance of LLMs, including GPT-3.5-turbo, GPT-4, LLaMA-13B and
Vicuna-13B (v1.1 and v1.5) with different ASR error rates. The use of the
proposed fine-tuning together with the LKI scheme for LLaMA-13B achieved an
8.3% absolute SLU-F1 improvement compared to the strong Flan-T5-base baseline
system on a limited data setup.
- Abstract(参考訳): 近年,大規模言語モデル(LLM)の進歩は,様々な言語タスクにおいて前例のない能力を示している。
本稿では,テキスト内学習とタスク固有の微調整の両方を通して,雑音の多いASR文字によるスロットフィリングへのLLMの適用の可能性について検討する。
ノイズASR転写によるスロット充填におけるLCMのロバスト性を改善するために, 逐次設計と微調整手法を提案する。
さらに、動的外部知識をLLMに統合するために、線形化知識注入(LKI)方式も提案されている。
SLURPでは、GPT-3.5-turbo、GPT-4、LLaMA-13B、Vicuna-13B(v1.1、v1.5)などのLSMの性能を数値化するために実験が行われた。
LLaMA-13BのLKIスキームと組み合わせて提案した微調整は、データ設定が限られている強力なFlan-T5ベースラインシステムと比較して8.3%の絶対的なSLU-F1の改善を実現した。
関連論文リスト
- Found in the Middle: How Language Models Use Long Contexts Better via
Plug-and-Play Positional Encoding [78.36702055076456]
本稿では,マルチスケール位置決めについて紹介する。
(Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。
LLMはコンテキストの中央に位置する関連情報を扱う。
論文 参考訳(メタデータ) (2024-03-05T04:58:37Z) - LLM-Oriented Retrieval Tuner [25.563739811422874]
Dense Retrieval(DR)は現在、LLM(Large Language Models)の記憶能力を高めるための有望なツールと考えられている。
本稿では,LLM から DR 容量を分離する効率的な LLM-Oriented Retrieval Tuner,すなわち LMORT を提案する。
提案手法は,強力なDRモデルと比較して,競争力のあるゼロショット検索性能を実現することができる。
論文 参考訳(メタデータ) (2024-03-04T12:50:25Z) - An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。
最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。
そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
論文 参考訳(メタデータ) (2024-02-13T23:25:04Z) - SCALE: Synergized Collaboration of Asymmetric Language Translation
Engines [105.8983433641208]
本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。
STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。
実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2023-09-29T08:46:38Z) - Improving Translation Faithfulness of Large Language Models via
Augmenting Instructions [89.76691340615848]
SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。
SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。
OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
論文 参考訳(メタデータ) (2023-08-24T09:32:29Z) - Exploring the Integration of Large Language Models into Automatic Speech
Recognition Systems: An Empirical Study [0.0]
本稿では,Large Language Models (LLM) と自動音声認識(ASR)システムの統合について検討する。
我々の主な焦点は、LLMのコンテキスト内学習機能を用いて、ASRシステムの性能を向上させる可能性を調査することである。
論文 参考訳(メタデータ) (2023-07-13T02:31:55Z) - Zero-Shot Cross-Lingual Summarization via Large Language Models [108.30673793281987]
言語間要約(CLS)は、異なる対象言語で要約を生成する。
近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。
本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
論文 参考訳(メタデータ) (2023-02-28T01:27:37Z) - Rethinking with Retrieval: Faithful Large Language Model Inference [91.66406351103484]
我々は検索(RR)で再考する新しいポストプロセッシング手法を提案する。
RRは、チェーン・オブ・シークレット・プロンプトから得られた推論ステップに基づいて、関連する外部知識を検索する。
複雑な3つの推論課題に対する GPT-3 を用いた広範囲な実験により RR の有効性を評価する。
論文 参考訳(メタデータ) (2022-12-31T22:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。