論文の概要: CRL+: A Novel Semi-Supervised Deep Active Contrastive Representation
Learning-Based Text Classification Model for Insurance Data
- arxiv url: http://arxiv.org/abs/2302.04343v1
- Date: Wed, 8 Feb 2023 21:23:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 17:23:37.829505
- Title: CRL+: A Novel Semi-Supervised Deep Active Contrastive Representation
Learning-Based Text Classification Model for Insurance Data
- Title（参考訳）: CRL+:保険データを対象とした半監督型深部能動コントラスト表現学習型テキスト分類モデル
- Authors: Amir Namavar Jahromi and Ebrahim Pourjafari and Hadis Karimipour and
Amit Satpathy and Lovell Hodge
- Abstract要約: 保険業界は、自然言語処理(NLP)による自由テキストのインテリジェント分析技術の適用の恩恵を受けることができる。
本稿では,コントラスト表現学習(CRL)とアクティブラーニングを組み合わせた新しいテキスト分類モデルCRL+を提案する。
提案手法は,データから死亡原因を決定する目的で,非構造化の死亡データを用いて評価する。
- 参考スコア（独自算出の注目度）: 0.8399688944263843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial sector and especially the insurance industry collect vast volumes
of text on a daily basis and through multiple channels (their agents, customer
care centers, emails, social networks, and web in general). The information
collected includes policies, expert and health reports, claims and complaints,
results of surveys, and relevant social media posts. It is difficult to
effectively extract label, classify, and interpret the essential information
from such varied and unstructured material. Therefore, the Insurance Industry
is among the ones that can benefit from applying technologies for the
intelligent analysis of free text through Natural Language Processing (NLP).
In this paper, CRL+, a novel text classification model combining Contrastive
Representation Learning (CRL) and Active Learning is proposed to handle the
challenge of using semi-supervised learning for text classification. In this
method, supervised (CRL) is used to train a RoBERTa transformer model to encode
the textual data into a contrastive representation space and then classify
using a classification layer. This (CRL)-based transformer model is used as the
base model in the proposed Active Learning mechanism to classify all the data
in an iterative manner. The proposed model is evaluated using unstructured
obituary data with objective to determine the cause of the death from the data.
This model is compared with the CRL model and an Active Learning model with the
RoBERTa base model. The experiment shows that the proposed method can
outperform both methods for this specific task.
- Abstract（参考訳）: 金融業界、特に保険業界は、毎日、複数のチャネル(エージェント、カスタマーケアセンター、eメール、ソーシャルネットワーク、ウェブ全般)を通じて、膨大な量のテキストを収集している。
収集された情報には、ポリシー、専門家および健康レポート、クレームと苦情、調査の結果、関連するソーシャルメディア投稿が含まれる。
このような多種多様な非構造材料から必須情報を効果的に抽出し、分類し、解釈することは困難である。
したがって、保険業界は、自然言語処理(NLP)を通じて自由テキストをインテリジェントに分析する技術を適用することで恩恵を受けることができる。
本稿では,テキスト分類における半教師付き学習の課題に対処するために,コントラスト表現学習(crl)とアクティブラーニングを組み合わせた新しいテキスト分類モデルcrl+を提案する。
この方法では、教師付き(CRL)を用いてRoBERTaトランスフォーマーモデルをトレーニングし、テキストデータをコントラスト表現空間にエンコードし、分類層を用いて分類する。
このCRLベースのトランスモデルを,提案したActive Learningメカニズムのベースモデルとして使用して,すべてのデータを反復的に分類する。
提案手法は,データから死亡原因を決定する目的で,非構造化の死亡データを用いて評価する。
このモデルはCRLモデルとRoBERTaベースモデルとのアクティブラーニングモデルと比較される。
実験の結果,提案手法は両手法よりも優れていることがわかった。
関連論文リスト
- Continual Learning with Pre-Trained Models: A Survey [66.49084129482239]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳（メタデータ） (2024-01-29T18:27:52Z) - Federated Class-Incremental Learning with Prototype Guided Transformer [45.043064116390866]
現実の状況では、各クライアントは新しいクラスを動的に学習し、グローバルモデルが新しいクラスと古いクラスの区別能力を維持する必要がある。
低通信コスト下での破滅的忘れとデータ不均一性の効果を効果的に軽減するために,我々はPLoRAという簡易かつ効果的な手法を考案した。
本手法は, 様々なシナリオやデータの不均一性の程度において, 強靭性と優越性を示す。
論文 参考訳（メタデータ） (2024-01-04T06:46:19Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and
Pretrained Language Models for CTR Prediction [51.64257638308695]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
論文 参考訳（メタデータ） (2023-10-30T11:25:03Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Extensive Evaluation of Transformer-based Architectures for Adverse Drug
Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。
我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。
分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文 参考訳（メタデータ） (2023-06-08T15:25:24Z) - Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。
自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。
我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-19T05:47:33Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - Making a (Counterfactual) Difference One Rationale at a Time [5.97507595130844]
本研究では,人的支援を伴わない反現実的データ拡張が,セレクタの性能を向上させることができるかどうかを考察する。
以上の結果から,CDAは関心のシグナルをよりよく捉えた合理性を生み出すことが示唆された。
論文 参考訳（メタデータ） (2022-01-13T19:05:02Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳（メタデータ） (2021-06-14T18:48:40Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - CRL: Class Representative Learning for Image Classification [5.11566193457943]
本稿では,ZSLの影響を受けやすいクラス代表学習モデル(CRL)を提案する。
CRLモデルでは、まず、畳み込みニューラルネットワーク(CNN)から抽出された特徴を集約することにより、データセットのクラスを表現するクラス代表を構築する。
提案したCRLモデルは,ZSLおよびモバイル深層学習における最先端の研究と比較して,優れた性能を示した。
論文 参考訳（メタデータ） (2020-02-16T17:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。