論文の概要: Understanding writing style in social media with a supervised
contrastively pre-trained transformer
- arxiv url: http://arxiv.org/abs/2310.11081v1
- Date: Tue, 17 Oct 2023 09:01:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 17:03:36.561305
- Title: Understanding writing style in social media with a supervised
contrastively pre-trained transformer
- Title(参考訳): 教師付きコントラスト事前学習トランスフォーマによるソーシャルメディアの書き方理解
- Authors: Javier Huertas-Tato, Alejandro Martin, David Camacho
- Abstract要約: オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。
本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。
512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
- 参考スコア(独自算出の注目度): 57.48690310135374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online Social Networks serve as fertile ground for harmful behavior, ranging
from hate speech to the dissemination of disinformation. Malicious actors now
have unprecedented freedom to misbehave, leading to severe societal unrest and
dire consequences, as exemplified by events such as the Capitol assault during
the US presidential election and the Antivaxx movement during the COVID-19
pandemic. Understanding online language has become more pressing than ever.
While existing works predominantly focus on content analysis, we aim to shift
the focus towards understanding harmful behaviors by relating content to their
respective authors. Numerous novel approaches attempt to learn the stylistic
features of authors in texts, but many of these approaches are constrained by
small datasets or sub-optimal training losses. To overcome these limitations,
we introduce the Style Transformer for Authorship Representations (STAR),
trained on a large corpus derived from public sources of 4.5 x 10^6 authored
texts involving 70k heterogeneous authors. Our model leverages Supervised
Contrastive Loss to teach the model to minimize the distance between texts
authored by the same individual. This author pretext pre-training task yields
competitive performance at zero-shot with PAN challenges on attribution and
clustering. Additionally, we attain promising results on PAN verification
challenges using a single dense layer, with our model serving as an embedding
encoder. Finally, we present results from our test partition on Reddit. Using a
support base of 8 documents of 512 tokens, we can discern authors from sets of
up to 1616 authors with at least 80\% accuracy. We share our pre-trained model
at huggingface (https://huggingface.co/AIDA-UPM/star) and our code is available
at (https://github.com/jahuerta92/star)
- Abstract(参考訳): オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。
悪役は前例のない不正行為の自由を持ち、米国大統領選挙の議事堂襲撃や新型コロナウイルス(covid-19)パンデミックの反バスク運動など、深刻な社会不安や悲惨な結果をもたらしている。
オンライン言語を理解することは、これまで以上に迫りつつある。
既存の作品は主にコンテンツ分析に焦点を絞っているが、我々はそれぞれの著者に関連づけることで有害な行動の理解に焦点を移そうとしている。
多くの新しいアプローチが著者のスタイル的特徴をテキストで学ぼうとしているが、これらのアプローチの多くは小さなデータセットや準最適訓練損失によって制約されている。
これらの制約を克服するために,70kの異質な著者を含む4.5 x 10^6の著作物から派生した大規模コーパスをトレーニングしたStyle Transformer for Authorship Representations (STAR)を導入する。
我々のモデルはSupervised Contrastive Lossを利用して、同じ個人によって書かれたテキスト間の距離を最小化するモデルを教える。
この著者の事前学習タスクは、貢献とクラスタリングに関するPANの課題に対してゼロショットで競合するパフォーマンスをもたらす。
さらに,組込みエンコーダとして機能する単一の高密度層を用いたPAN検証の課題に対して,有望な結果が得られる。
最後に、redditのテストパーティションから結果を示します。
512トークンの8つのドキュメントのサポートベースを使用することで、少なくとも80\%の精度で、最大1616人の著者のセットから著者を識別することができる。
トレーニング済みのモデルをhanggingface(https://huggingface.co/AIDA-UPM/star)で共有し、コードはhttps://github.com/jahuerta92/starで公開しています。
関連論文リスト
- Authorship Attribution in Bangla Literature (AABL) via Transfer Learning
using ULMFiT [0.6919386619690135]
著者属性(英: Authorship Attribution)とは、あるテキストの原作者を特定するために、テキストの適切な特徴づけを作成するタスクである。
英語、スペイン語、中国語など他の言語にも大きな進歩があったが、バングラはこの分野の包括的な研究を欠いている。
既存のシステムは、著者数が増えるとスケーラビリティが低下し、著者1人当たりのサンプル数が少なくなる。
論文 参考訳(メタデータ) (2024-03-08T18:42:59Z) - JAMDEC: Unsupervised Authorship Obfuscation using Constrained Decoding
over Small Language Models [53.83273575102087]
著者の難読化に対する教師なし推論時間アプローチを提案する。
本稿では,著者難読化のためのユーザ制御推論時間アルゴリズムであるJAMDECを紹介する。
提案手法は,GPT2-XL などの小型言語モデルに基づいて,オリジナルコンテンツをプロプライエタリな LLM の API に公開するのを防ぐ。
論文 参考訳(メタデータ) (2024-02-13T19:54:29Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - PART: Pre-trained Authorship Representation Transformer [64.78260098263489]
文書を書く著者は、語彙、レジストリ、句読点、ミススペル、絵文字の使用など、テキスト内での識別情報をインプリントする。
以前の作品では、手作りのフィーチャや分類タスクを使用して著者モデルをトレーニングし、ドメイン外の著者に対するパフォーマンスの低下につながった。
セマンティクスの代わりにtextbfauthorship の埋め込みを学習するために、対照的に訓練されたモデルを提案する。
論文 参考訳(メタデータ) (2022-09-30T11:08:39Z) - Data-Driven Mitigation of Adversarial Text Perturbation [1.3649494534428743]
本研究では,NLPモデルを逆テキスト摂動に対して堅牢にするための難読化パイプラインを提案する。
CW2Vの埋め込みは、文字nグラムに基づく埋め込みよりも、テキストの摂動に対してより堅牢であることを示す。
我々のパイプラインはエンゲージメントベイト分類を0.70から0.67AUCに分類し、敵対的なテキストの摂動を発生させる。
論文 参考訳(メタデータ) (2022-02-19T00:49:12Z) - Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。
本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。
本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
論文 参考訳(メタデータ) (2021-04-16T14:37:27Z) - Evaluation of Deep Learning Models for Hostility Detection in Hindi Text [2.572404739180802]
ヒンディー語における敵対的テキスト検出手法を提案する。
提案手法は、Constraint@AAAI 2021 Hindiホスト性検出データセットで評価される。
この多ラベル分類問題に対して,CNN,LSTM,BERTに基づく深層学習手法のホストを評価した。
論文 参考訳(メタデータ) (2021-01-11T19:10:57Z) - Writer Identification Using Microblogging Texts for Social Media
Forensics [53.180678723280145]
私たちは、文学的分析に広く使われている人気のあるスタイル的特徴と、URL、ハッシュタグ、返信、引用などの特定のTwitter機能を評価します。
我々は、様々なサイズの著者集合と、著者毎のトレーニング/テストテキストの量をテストする。
論文 参考訳(メタデータ) (2020-07-31T00:23:18Z) - Detecting Online Hate Speech: Approaches Using Weak Supervision and
Network Embedding Models [2.3322477552758234]
本研究では,ヘイトフルユーザを定量的に発見する弱監督型深層学習モデルを提案する。
我々は、19.2Mの投稿において、我々のモデルを評価し、我々の弱い監督モデルは、間接的に憎悪的な相互作用を識別するベースラインモデルよりも優れていることを示す。
また,Gabにおける2種類のユーザインタラクション(引用と応答)と,弱監督モデルからのインタラクションスコアをエッジウェイトとして分析し,ヘイトフルユーザを予測する。
論文 参考訳(メタデータ) (2020-07-24T18:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。