論文の概要: Bengali Intent Classification with Generative Adversarial BERT
- arxiv url: http://arxiv.org/abs/2312.10679v1
- Date: Sun, 17 Dec 2023 10:45:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:10:56.894091
- Title: Bengali Intent Classification with Generative Adversarial BERT
- Title（参考訳）: 生成的adversarial bertを用いたベンガル意図分類
- Authors: Mehedi Hasan, Mohammad Jahid Ibna Basher, and Md. Tanvir Rouf Shawon
- Abstract要約: BNIntent30は,30の意図クラスを含むベンガル語意図分類データセットである。
データセットは、150以上のクラスに分類された多様なユーザインテントを含むCLINIC150データセットから抜粋され、翻訳される。
本稿では,GAN-BnBERT を用いたベンガル語意図分類手法を提案する。
- 参考スコア（独自算出の注目度）: 0.24578723416255746
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Intent classification is a fundamental task in natural language
understanding, aiming to categorize user queries or sentences into predefined
classes to understand user intent. The most challenging aspect of this
particular task lies in effectively incorporating all possible classes of
intent into a dataset while ensuring adequate linguistic variation. Plenty of
research has been conducted in the related domains in rich-resource languages
like English. In this study, we introduce BNIntent30, a comprehensive Bengali
intent classification dataset containing 30 intent classes. The dataset is
excerpted and translated from the CLINIC150 dataset containing a diverse range
of user intents categorized over 150 classes. Furthermore, we propose a novel
approach for Bengali intent classification using Generative Adversarial BERT to
evaluate the proposed dataset, which we call GAN-BnBERT. Our approach leverages
the power of BERT-based contextual embeddings to capture salient linguistic
features and contextual information from the text data, while the generative
adversarial network (GAN) component complements the model's ability to learn
diverse representations of existing intent classes through generative modeling.
Our experimental results demonstrate that the GAN-BnBERT model achieves
superior performance on the newly introduced BNIntent30 dataset, surpassing the
existing Bi-LSTM and the stand-alone BERT-based classification model.
- Abstract（参考訳）: インテント分類は自然言語理解における基本的な課題であり、ユーザクエリや文を事前に定義されたクラスに分類してユーザ意図を理解することを目的としている。
このタスクの最も難しい側面は、適切な言語的バリエーションを確保しながら、可能なすべての意図のクラスをデータセットに効果的に組み込むことである。
英語のようなリッチリソース言語に関連するドメインでは、多くの研究が行われている。
本研究では,30のインテントクラスを含む包括的ベンガル意図分類データセットbnintent30を提案する。
データセットは、150以上のクラスに分類された多様なユーザインテントを含むCLINIC150データセットから抜粋され、翻訳される。
さらに,GAN-BnBERTと呼ばれる提案したデータセットを評価するために,ジェネレーティブ・アドバーサリアルBERTを用いたベンガル意図分類手法を提案する。
提案手法では,テキストデータから有意な言語特徴と文脈情報を取り込むためにbertベースのコンテキスト埋め込みのパワーを活用し,一方,gan(generative adversarial network)コンポーネントは,生成モデルによる既存のインテントクラスの多様な表現を学習するモデルの能力を補完する。
GAN-BnBERT モデルは,既存の Bi-LSTM とスタンドアローン BERT に基づく分類モデルに勝って,新たに導入された BNIntent30 データセット上で優れた性能を示すことを示す。
関連論文リスト
- Universal Cross-Lingual Text Classification [0.3958317527488535]
本研究は,言語横断テキスト分類における新たな視点を提案する。
我々のアプローチは、訓練中に異なる言語からの教師付きデータをブレンドして普遍的なモデルを作成することである。
主な目標は、ラベルと言語カバレッジを強化することであり、様々な言語のラベルの結合を表すラベルセットを目指している。
論文 参考訳（メタデータ） (2024-06-16T17:58:29Z) - Expanding the Vocabulary of BERT for Knowledge Base Construction [6.412048788884728]
国際セマンティックウェブ会議2023で「事前学習言語モデルによる知識ベース構築」の課題が開催された。
私たちの焦点は、パラメータを最大10億に制限する課題のトラック1にありました。
本稿では,知識ベース構築のための語彙拡張BERTを提案する。
論文 参考訳（メタデータ） (2023-10-12T12:52:46Z) - Cross-Lingual NER for Financial Transaction Data in Low-Resource
Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。
我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。
わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文 参考訳（メタデータ） (2023-07-16T00:45:42Z) - Large Language Model as Attributed Training Data Generator: A Tale of
Diversity and Bias [92.41919689753051]
大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。
本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。
属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
論文 参考訳（メタデータ） (2023-06-28T03:31:31Z) - Tri-level Joint Natural Language Understanding for Multi-turn
Conversational Datasets [5.3361357265365035]
本稿では,新しい三段階共同自然言語理解手法,ドメインの追加,意味情報をすべてのレベル間で明示的に交換する手法を提案する。
我々は,2つのマルチターンデータセットを用いて,共同スロット充填とインテント検出を行った最初のモデルとして評価を行った。
論文 参考訳（メタデータ） (2023-05-28T13:59:58Z) - DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文 参考訳（メタデータ） (2022-05-21T00:58:22Z) - Deep Learning for Bias Detection: From Inception to Deployment [4.51073220028236]
企業コンテンツにおけるバイアスを自動的に識別するために,手動でタグ付けされた文書から学習するために,移動学習に基づく言語モデルを用いたディープラーニングモデルを提案する。
まず、ウィキペディアを用いてディープラーニングベースの言語モデルを事前学習し、それから様々な種類のエンタープライズコンテンツに関連する大きな未学習データセットでモデルを微調整する。
トレーニングされたモデルは、一般的なアプリケーションを保証するために、独立したデータセットで徹底的に評価される。
論文 参考訳（メタデータ） (2021-10-12T13:57:54Z) - Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。
提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文 参考訳（メタデータ） (2021-09-02T16:05:24Z) - ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。
ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。
意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
論文 参考訳（メタデータ） (2020-09-22T01:02:07Z) - Students Need More Attention: BERT-based AttentionModel for Small Data
with Application to AutomaticPatient Message Triage [65.7062363323781]
BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。
LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。
アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
論文 参考訳（メタデータ） (2020-06-22T03:39:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。