論文の概要: belabBERT: a Dutch RoBERTa-based language model applied to psychiatric classification

• arxiv url: http://arxiv.org/abs/2106.01091v1
• Date: Wed, 2 Jun 2021 11:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 00:39:49.137887
• Title: belabBERT: a Dutch RoBERTa-based language model applied to psychiatric classification
• Title（参考訳）: belabBERT: 精神医学分類に適用されるオランダのRoBERTaベースの言語モデル
• Authors: Joppe Wouts, Janna de Boer, Alban Voppel, Sanne Brederoo, Sander van Splunter and Iris Sommer
• Abstract要約: 本稿では,RoBERTaアーキテクチャを拡張した新しいオランダ語モデルであるbelabBERTを提案する。 belabBERTは、大規模なオランダ語コーパス(+32GB)のWebクロードテキストでトレーニングされている。 belabBERT を用いてテキスト分類の強度を評価し,既存の RobBERT モデルと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language processing (NLP) is becoming an important means for automatic recognition of human traits and states, such as intoxication, presence of psychiatric disorders, presence of airway disorders and states of stress. Such applications have the potential to be an important pillar for online help lines, and may gradually be introduced into eHealth modules. However, NLP is language specific and for languages such as Dutch, NLP models are scarce. As a result, recent Dutch NLP models have a low capture of long range semantic dependencies over sentences. To overcome this, here we present belabBERT, a new Dutch language model extending the RoBERTa architecture. belabBERT is trained on a large Dutch corpus (+32 GB) of web crawled texts. We applied belabBERT to the classification of psychiatric illnesses. First, we evaluated the strength of text-based classification using belabBERT, and compared the results to the existing RobBERT model. Then, we compared the performance of belabBERT to audio classification for psychiatric disorders. Finally, a brief exploration was performed, extending the framework to a hybrid text- and audio-based classification. Our results show that belabBERT outperformed the current best text classification network for Dutch, RobBERT. belabBERT also outperformed classification based on audio alone.
• Abstract（参考訳）: 自然言語処理(nlp)は、酔い、精神疾患の存在、気道障害の存在、ストレス状態など、人間の特性や状態を自動的に認識するための重要な手段になりつつある。 このようなアプリケーションはオンラインヘルプラインの重要な柱となり、徐々にehealthモジュールに導入される可能性がある。 しかし、NLPは言語固有のものであり、オランダ語のような言語ではNLPモデルは少ない。 その結果、近年のオランダのNLPモデルは、文に対する長い範囲のセマンティックな依存性を低く捉えている。 本稿では,RoBERTaアーキテクチャを拡張した新しいオランダ語モデルであるbelabBERTを紹介する。 belabBERTは、大規模なオランダ語コーパス(+32GB)のWebクロードテキストでトレーニングされている。 精神疾患の分類にbelabBERTを適用した。 まず、belabBERTを用いたテキスト分類の強度を評価し、既存のRobBERTモデルと比較した。 そして,精神疾患の音声分類とbelabBERTの性能を比較した。 最後に、簡単な調査を行い、フレームワークをハイブリッドテキストとオーディオベースの分類に拡張した。 以上の結果から,BlabBERTはオランダ語でもっとも優れたテキスト分類ネットワークであるRobBERTよりも優れていた。 BelabBERTはオーディオのみに基づく分類でも優れている。

関連論文リスト

• SD-HuBERT: Sentence-Level Self-Distillation Induces Syllabic Organization in HuBERT [49.06057768982775]
  音声の文レベル表現の学習において,音節的組織が出現することを示す。 本稿では,音声の文レベル表現を評価するための新しいベンチマークタスクであるSpken Speech ABXを提案する。
  論文  参考訳（メタデータ） (2023-10-16T20:05:36Z)
• From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French [57.886210204774834]
  我々は、近世フランス語(歴史的フランス語:16$textth$から18$textth$ century)のためのNLPツールを開発する取り組みを提示する。 我々は、近世フランス語のtextFreEM_textmax$ corpusと、$textFreEM_textmax$でトレーニングされたRoBERTaベースの言語モデルであるD'AlemBERTを提示する。
  論文  参考訳（メタデータ） (2022-02-18T22:17:22Z)
• Towards Efficient NLP: A Standard Evaluation and A Strong Baseline [55.29756535335831]
  本研究は, ELUE (Efficient Language Understanding Evaluation) と標準評価, 効率的なNLPモデルのための公開リーダボードを提案する。 ベンチマークとともに、強いベースラインであるElasticBERTの事前トレーニングとリリースも行います。
  論文  参考訳（メタデータ） (2021-10-13T21:17:15Z)
• FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
  fBERTは、SOLIDで再訓練されたBERTモデルである。 複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。 fBERTモデルは、コミュニティで自由に利用できるようになる。
  論文  参考訳（メタデータ） (2021-09-10T19:19:26Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• GottBERT: a pure German Language Model [0.0]
  ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。 評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。 GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
  論文  参考訳（メタデータ） (2020-12-03T17:45:03Z)
• An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
  EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。 最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。 本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
  論文  参考訳（メタデータ） (2020-11-12T17:14:32Z)
• Text-based classification of interviews for mental health -- juxtaposing the state of the art [0.0]
  現在、精神疾患の分類のための技術の現状は、音声に基づく分類に基づいている。 本論文は,この課題に対して,アートテキスト分類ネットワークの状態を設計し,評価することを目的とする。
  論文  参考訳（メタデータ） (2020-07-29T16:19:30Z)
• TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data [113.29476656550342]
  本研究では,NL文と表の表現を共同で学習する事前学習型LMであるTaBERTを提案する。 TaBERTは、600万のテーブルとその英語コンテキストからなる大規模なコーパスで訓練されている。 モデルの実装はhttp://fburl.com/TaBERT.comで公開される。
  論文  参考訳（メタデータ） (2020-05-17T17:26:40Z)
• AraBERT: Transformer-based Model for Arabic Language Understanding [0.0]
  我々は、BERTが英語で行ったのと同じ成功を達成するために、特にアラビア語のためにBERTを事前訓練した。 その結果, AraBERTはアラビアのほとんどのNLPタスクで最先端の性能を達成した。
  論文  参考訳（メタデータ） (2020-02-28T22:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。