論文の概要: ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness

• arxiv url: http://arxiv.org/abs/2305.12947v1
• Date: Mon, 22 May 2023 11:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 16:21:12.798781
• Title: ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness
• Title（参考訳）: chatgpt:インテント分類のためのパラフレーズのクラウドソーシングを置き換える: 高い多様性と比較モデルロバスト性
• Authors: Jan Cegin, Jakub Simko and Peter Brusilovsky
• Abstract要約: ChatGPTで作成したパラフレーズはより多様性があり、より堅牢なモデルに導かれることを示す。 伝統的に、クラウドソーシングは、さまざまな人間の知性タスクに対するソリューションの獲得に使われてきた。
• 参考スコア（独自算出の注目度）: 5.450526467526341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of generative large language models (LLMs) raises the question: what will be its impact on crowdsourcing. Traditionally, crowdsourcing has been used for acquiring solutions to a wide variety of human-intelligence tasks, including ones involving text generation, manipulation or evaluation. For some of these tasks, models like ChatGPT can potentially substitute human workers. In this study, we investigate, whether this is the case for the task of paraphrase generation for intent classification. We quasi-replicated the data collection methodology of an existing crowdsourcing study (similar scale, prompts and seed data) using ChatGPT. We show that ChatGPT-created paraphrases are more diverse and lead to more robust models.
• Abstract（参考訳）: 生成型大規模言語モデル(LLM)の出現は、クラウドソーシングにどのような影響を与えるのかという疑問を提起する。 伝統的に、クラウドソーシングは、テキスト生成、操作、評価を含む幅広い人間の知性タスクのソリューションを取得するために使われてきた。 これらのタスクのいくつかでは、ChatGPTのようなモデルが人間の労働者を置き換える可能性がある。 本研究では,本研究が意図分類におけるパラフレーズ生成の課題であるかどうかを検討する。 chatgptを用いて,既存のクラウドソーシング研究(スケール,プロンプト,シードデータなど)のデータ収集手法を準再現した。 chatgptが作成したパラフレーズはより多様であり、より堅牢なモデルをもたらす。

関連論文リスト

• Human-interpretable clustering of short-text using large language models [0.0]
  人間の生成したコンテンツをクラスタリングするために,大規模な言語モデルが利用できることを示す。 この成功は、人間レビュアーとChatGPTによって検証される。
  論文  参考訳（メタデータ） (2024-05-12T12:55:40Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Paraphrase Types for Generation and Detection [7.800428507692341]
  これらのタスクをパラフレーズ型生成とパラフレーズ型検出と呼ぶ。 以上の結果から,従来の手法は二項分類のシナリオではうまく機能するが,微粒なパラフレーズ型の含みは大きな課題となることが示唆された。 我々は、パラフレーズ型が将来、パラフレーズモデルの開発とタスクの解決のための新しいパラダイムを解き放つことができると考えている。
  論文  参考訳（メタデータ） (2023-10-23T12:32:41Z)
• A Quality-based Syntactic Template Retriever for Syntactically-controlled Paraphrase Generation [67.98367574025797]
  既存の構文制御されたパラフレーズ生成モデルは、人間の注釈付きまたはよく書かれた構文テンプレートで有望に機能する。 禁止コストにより、ソース文ごとに適切なテンプレートを手作業で設計することは不可能になります。 本稿では,QSTR(Quality-based Syntactic Template Retriever)を提案する。
  論文  参考訳（メタデータ） (2023-10-20T03:55:39Z)
• On the Generalization of Training-based ChatGPT Detection Methods [33.46128880100525]
  ChatGPTは、様々な自然言語タスクにおいて素晴らしいパフォーマンスを達成する最もポピュラーな言語モデルの1つである。 また、人書きから生成されたChatGPTのテキストを検出する必要がある。
  論文  参考訳（メタデータ） (2023-10-02T16:13:08Z)
• ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task [0.0]
  ChatGPTを含むトランスフォーマーベースの言語モデルは、様々な自然言語生成タスクにおいて例外的な性能を示した。 本研究は、ChatGPTのキーフレーズ生成性能と最先端モデルを比較し、この分野における2つの重要な課題に対する解決策としての可能性をテストする。
  論文  参考訳（メタデータ） (2023-04-27T13:25:43Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Elaboration-Generating Commonsense Question Answering at Scale [77.96137534751445]
  一般的な感覚を必要とする質問応答では、言語モデル(例えばGPT-3)が背景知識を表すテキストを生成するために使われてきた。 より小さな言語モデルを微調整して有用な中間コンテキストを生成します。 私たちのフレームワークは、2つの言語モデルの更新 – 開発中のジェネレータと応答予測器 – を交互に行います。
  論文  参考訳（メタデータ） (2022-09-02T18:32:09Z)
• Polling Latent Opinions: A Method for Computational Sociolinguistics Using Transformer Language Models [4.874780144224057]
  我々は,Yelp レビューのより大きなコーパス内で,トランスフォーマー言語モデルの記憶と外挿の能力を用いて,サブグループの言語的振る舞いを学習する。 トレーニングコーパスに特定のキーワードが制限されたり、全く存在しない場合においても、GPTは正しい感情を持つ大量のテキストを正確に生成できることを示す。
  論文  参考訳（メタデータ） (2022-04-15T14:33:58Z)
• Pushing Paraphrase Away from Original Sentence: A Multi-Round Paraphrase Generation Approach [97.38622477085188]
  パラフレーズの多様性を向上させるためにBTmPG(Back-Translation Guided Multi-round Paraphrase Generation)を提案する。 2つのベンチマークデータセット上でBTmPGを評価する。
  論文  参考訳（メタデータ） (2021-09-04T13:12:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。