論文の概要: ChatGPT as Data Augmentation for Compositional Generalization: A Case
Study in Open Intent Detection
- arxiv url: http://arxiv.org/abs/2308.13517v1
- Date: Fri, 25 Aug 2023 17:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 13:03:23.799595
- Title: ChatGPT as Data Augmentation for Compositional Generalization: A Case
Study in Open Intent Detection
- Title（参考訳）: 合成一般化のためのデータ拡張としてのChatGPT:オープンインテント検出の事例
- Authors: Yihao Fang, Xianzhi Li, Stephen W. Thomas, Xiaodan Zhu
- Abstract要約: 本稿では,ChatGPTをデータ拡張技術として活用し,オープンな意図検出タスクにおける合成一般化を強化するケーススタディを提案する。
本稿では,ChatGPTが生成した合成データをトレーニングプロセスに組み込むことで,モデル性能を効果的に改善できることを実証する。
- 参考スコア（独自算出の注目度）: 30.13634341221476
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Open intent detection, a crucial aspect of natural language understanding,
involves the identification of previously unseen intents in user-generated
text. Despite the progress made in this field, challenges persist in handling
new combinations of language components, which is essential for compositional
generalization. In this paper, we present a case study exploring the use of
ChatGPT as a data augmentation technique to enhance compositional
generalization in open intent detection tasks. We begin by discussing the
limitations of existing benchmarks in evaluating this problem, highlighting the
need for constructing datasets for addressing compositional generalization in
open intent detection tasks. By incorporating synthetic data generated by
ChatGPT into the training process, we demonstrate that our approach can
effectively improve model performance. Rigorous evaluation of multiple
benchmarks reveals that our method outperforms existing techniques and
significantly enhances open intent detection capabilities. Our findings
underscore the potential of large language models like ChatGPT for data
augmentation in natural language understanding tasks.
- Abstract（参考訳）: 自然言語理解の重要な側面であるオープンインテント検出は、ユーザ生成テキストにおいて、これまで目に見えないインテントを識別する。
この分野での進歩にもかかわらず、コンポジションの一般化に不可欠な言語コンポーネントの新たな組み合わせを扱う上で、課題は続いている。
本稿では,ChatGPTをデータ拡張技術として活用し,オープンな意図検出タスクにおける構成一般化を強化するケーススタディを提案する。
まず,この問題評価における既存のベンチマークの限界を議論し,オープンインテント検出タスクにおける構成一般化に対応するデータセットの構築の必要性を強調する。
本稿では,ChatGPTが生成した合成データをトレーニングプロセスに組み込むことで,モデル性能を効果的に向上できることを示す。
複数のベンチマークの厳密な評価により,本手法は既存の手法よりも優れ,オープンな意図検出能力を大幅に向上させることがわかった。
自然言語理解タスクにおけるデータ拡張のためのChatGPTのような大規模言語モデルの可能性を明らかにする。
関連論文リスト
- GPT-generated Text Detection: Benchmark Dataset and Tensor-based
Detection Method [4.802604527842989]
GPT Reddit データセット(GRiD)は,GPT(Generative Pretrained Transformer)によって生成された新しいテキスト検出データセットである。
データセットは、Redditに基づくコンテキストプロンプトペアと、人間生成とChatGPT生成のレスポンスで構成されている。
データセットの有用性を示すために、我々は、その上でいくつかの検出方法をベンチマークし、人間とChatGPTが生成する応答を区別する効果を実証した。
論文 参考訳（メタデータ） (2024-03-12T05:15:21Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - Large Language Models Meet Open-World Intent Discovery and Recognition:
An Evaluation of ChatGPT [37.27411474856601]
Out-of-domain(OOD)インテントディスカバリと一般化インテントディスカバリ(GID)は、オープンワールドインテントセットにクローズドインテントを拡張することを目的としている。
従来の手法は微調整の識別モデルによってそれらに対処する。
ChatGPTはゼロショット設定で一貫したアドバンテージを示すが、細調整されたモデルに比べて依然として不利である。
論文 参考訳（メタデータ） (2023-10-16T08:34:44Z) - On the Generalization of Training-based ChatGPT Detection Methods [33.46128880100525]
ChatGPTは、様々な自然言語タスクにおいて素晴らしいパフォーマンスを達成する最もポピュラーな言語モデルの1つである。
また、人書きから生成されたChatGPTのテキストを検出する必要がある。
論文 参考訳（メタデータ） (2023-10-02T16:13:08Z) - HC3 Plus: A Semantic-Invariant Human ChatGPT Comparison Corpus [22.302137281411646]
ChatGPTはその素晴らしいパフォーマンスのために大きな関心を集めている。
その潜在的なリスクについて懸念が高まっている。
ChatGPT生成テキストを検出するために使用される現在のデータセットは、主に質問応答タスクに焦点を当てている。
論文 参考訳（メタデータ） (2023-09-06T05:33:57Z) - ChatGraph: Interpretable Text Classification by Converting ChatGPT
Knowledge to Graphs [54.48467003509595]
ChatGPTは、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを示している。
テキスト分類などの特定のタスクにChatGPTのパワーを利用する新しいフレームワークを提案する。
本手法は,従来のテキスト分類法と比較して,より透過的な意思決定プロセスを提供する。
論文 参考訳（メタデータ） (2023-05-03T19:57:43Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - A Human Word Association based model for topic detection in social networks [1.8749305679160366]
本稿では,単語連想の心的能力を模倣する概念に基づく,ソーシャルネットワークの話題検出フレームワークを提案する。
このフレームワークの性能は、トピック検出の分野におけるベンチマークであるFA-CUPデータセットを用いて評価される。
論文 参考訳（メタデータ） (2023-01-30T17:10:34Z) - Novel Human-Object Interaction Detection via Adversarial Domain
Generalization [103.55143362926388]
本研究では,新たな人-物間相互作用(HOI)検出の問題点を考察し,モデルの一般化能力を向上させることを目的とした。
この課題は、主に対象と述語の大きな構成空間に起因し、全ての対象と述語の組み合わせに対する十分な訓練データが欠如している。
本稿では,予測のためのオブジェクト指向不変の特徴を学習するために,対数領域の一般化の統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2020-05-22T22:02:56Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。