論文の概要: Pushing on Personality Detection from Verbal Behavior: A Transformer
Meets Text Contours of Psycholinguistic Features
- arxiv url: http://arxiv.org/abs/2204.04629v1
- Date: Sun, 10 Apr 2022 08:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 15:52:35.643581
- Title: Pushing on Personality Detection from Verbal Behavior: A Transformer
Meets Text Contours of Psycholinguistic Features
- Title（参考訳）: 言語行動からのパーソナリティ検出を推し進める: トランスフォーマーが心理言語学的特徴のテキスト輪郭と出会う
- Authors: Elma Kerz, Yu Qiao, Sourabh Zanwar, Daniel Wiechmann
- Abstract要約: テキストデータから人格特性を予測する上で,2つの大きな改善点を報告する。
精神言語学的特徴のテキスト内分布を学習した,事前学習型トランスフォーマー言語モデルBERTと双方向長短期記憶ネットワークを統合した。
2つのベンチマークデータセット上に構築したモデルの性能を評価する。
- 参考スコア（独自算出の注目度）: 27.799032561722893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research at the intersection of personality psychology, computer science, and
linguistics has recently focused increasingly on modeling and predicting
personality from language use. We report two major improvements in predicting
personality traits from text data: (1) to our knowledge, the most comprehensive
set of theory-based psycholinguistic features and (2) hybrid models that
integrate a pre-trained Transformer Language Model BERT and Bidirectional Long
Short-Term Memory (BLSTM) networks trained on within-text distributions ('text
contours') of psycholinguistic features. We experiment with BLSTM models (with
and without Attention) and with two techniques for applying pre-trained
language representations from the transformer model - 'feature-based' and
'fine-tuning'. We evaluate the performance of the models we built on two
benchmark datasets that target the two dominant theoretical models of
personality: the Big Five Essay dataset and the MBTI Kaggle dataset. Our
results are encouraging as our models outperform existing work on the same
datasets. More specifically, our models achieve improvement in classification
accuracy by 2.9% on the Essay dataset and 8.28% on the Kaggle MBTI dataset. In
addition, we perform ablation experiments to quantify the impact of different
categories of psycholinguistic features in the respective personality
prediction models.
- Abstract（参考訳）: パーソナリティ心理学、コンピュータサイエンス、言語学の交差点における研究は、最近、言語使用からパーソナリティをモデル化し予測することに集中している。
テキストデータから人格特性を予測する2つの大きな改善点を報告する:(1)我々の知識に対して、理論に基づく最も包括的な精神言語学的特徴セット、(2)事前学習されたトランスフォーマー言語モデルBERTと双方向長短期記憶(BLSTM)ネットワークを統合したハイブリッドモデル。
我々は、BLSTMモデル(注意と注意)と、トランスフォーマーモデルから事前訓練された言語表現を応用するための2つの手法、すなわち「機能ベース」と「ファインチューニング」を実験する。
我々は,2つのパーソナリティの有力な理論モデルであるbig five essayデータセットとmbti kaggleデータセットを対象とした2つのベンチマークデータセットで構築したモデルの性能評価を行った。
私たちのモデルは、同じデータセット上の既存の作業よりも優れています。
具体的には,Essayデータセットでは2.9%,Kaggle MBTIデータセットでは8.28%の分類精度向上を実現している。
さらに,それぞれの性格予測モデルにおいて,異なるカテゴリーの心理言語学的特徴の影響を定量化するアブレーション実験を行った。
関連論文リスト
- Machine Mindset: An MBTI Exploration of Large Language Models [29.6500316173296]
我々は,Mers-Briggs Type Indicator (MBTI)パーソナリティ特性を大規模言語モデル (LLM) に統合するための新しいアプローチを提案する。
提案手法は,MBTI特性をLLMに埋め込むための2相微調整と直接選好最適化(DPO)を含む。
論文 参考訳（メタデータ） (2023-12-20T12:59:31Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and
Pretrained Language Models for CTR Prediction [51.64257638308695]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
論文 参考訳（メタデータ） (2023-10-30T11:25:03Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Extensive Evaluation of Transformer-based Architectures for Adverse Drug
Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。
我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。
分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文 参考訳（メタデータ） (2023-06-08T15:25:24Z) - Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music
Generation Task [86.72661027591394]
テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。
テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。
実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
論文 参考訳（メタデータ） (2022-11-21T07:19:17Z) - Myers-Briggs personality classification from social media text using
pre-trained language models [0.0]
本稿では, MBTI分類を行うために, BERTモデルによる双方向表現を微調整した一連の実験について述べる。
本研究の主目的は, 単語のバッグや静的な単語の埋め込みなどに基づいて, テキスト分類モデルの性能を著しく向上させることである。
論文 参考訳（メタデータ） (2022-07-10T14:38:09Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Extending the Abstraction of Personality Types based on MBTI with
Machine Learning and Natural Language Processing [0.0]
MBTIに基づく人格型予測のための自然言語処理(NLP)を用いたデータ中心型アプローチ
実験は、積み重ねられたモデルの堅牢なベースラインを持っていた。
その結果、データ反復ループへの注目は、より関連性の高い/重要なリソースの抽象化のための品質、説明力、代表性に焦点が当てられた。
論文 参考訳（メタデータ） (2021-05-25T10:00:16Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Personality Trait Detection Using Bagged SVM over BERT Word Embedding
Ensembles [10.425280599592865]
本稿では,テキストからの人格自動検出のための新しい深層学習手法を提案する。
我々は、自然言語理解における最先端技術、すなわちBERT言語モデルを活用して、文脈化された単語埋め込みを抽出する。
我々のモデルは、従来の最先端技術よりも1.04%優れており、同時に、トレーニングの計算効率も大幅に向上している。
論文 参考訳（メタデータ） (2020-10-03T09:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。