論文の概要: Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2305.13512v1
• Date: Mon, 22 May 2023 21:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:32:12.021768
• Title: Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding
• Title（参考訳）: ChatGPTはインテントを検出できるか? 音声言語理解のための大規模言語モデルの評価
• Authors: Mutian He, Philip N. Garner
• Abstract要約: 大規模な事前訓練された言語モデルは、強力な言語理解能力を示している。 複数のベンチマークで異なるサイズのChatGPTやOPTなどのモデルを評価した。 しかし、スロットフィリングではモデルが悪化し、その性能はASR誤差に敏感であることを示す。
• 参考スコア（独自算出の注目度）: 17.19693938177092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, large pretrained language models have demonstrated strong language understanding capabilities. This is particularly reflected in their zero-shot and in-context learning abilities on downstream tasks through prompting. To assess their impact on spoken language understanding (SLU), we evaluate several such models like ChatGPT and OPT of different sizes on multiple benchmarks. We verify the emergent ability unique to the largest models as they can reach intent classification accuracy close to that of supervised models with zero or few shots on various languages given oracle transcripts. By contrast, the results for smaller models fitting a single GPU fall far behind. We note that the error cases often arise from the annotation scheme of the dataset; responses from ChatGPT are still reasonable. We show, however, that the model is worse at slot filling, and its performance is sensitive to ASR errors, suggesting serious challenges for the application of those textual models on SLU.
• Abstract（参考訳）: 近年,大規模な事前学習型言語モデルにより,言語理解能力が向上している。 これは特に、プロンプトによるダウンストリームタスクのゼロショットとインコンテキスト学習能力に反映されている。 音声言語理解(SLU)への影響を評価するため,複数のベンチマークでChatGPTやOPTなど,さまざまなサイズのモデルを評価した。 我々は,最大モデルに特有の創発的能力を検証するとともに,命令書の書き起こしを与えられた言語に対して,ゼロあるいは少数で教師付きモデルに近い意図的分類精度を達成可能である。 対照的に、1つのGPUにフィットする小型モデルの結果は、はるかに遅れている。 エラーケースはデータセットのアノテーションスキームから生じることが多いが、ChatGPTからの応答は依然として妥当である。 しかし,本モデルではスロットフィリングが悪く,ASR誤差に敏感であり,SLU上でのテキストモデルの適用に深刻な課題が示唆されている。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Perturbed examples reveal invariances shared by language models [8.04604449335578]
  2つのNLPモデルを比較するための新しいフレームワークを提案する。 このフレームワークは、同じおよび異なるアーキテクチャファミリーのモデルに関する実験であり、モデルの変化が言語機能にどのように影響するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2023-11-07T17:48:35Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
  統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。 本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。 従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
  論文  参考訳（メタデータ） (2023-05-30T06:40:08Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Internet-augmented language models through few-shot prompting for open-domain question answering [6.573232954655063]
  私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。 Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。 ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-10T02:24:14Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。