論文の概要: The Looming Threat of Fake and LLM-generated LinkedIn Profiles:
Challenges and Opportunities for Detection and Prevention
- arxiv url: http://arxiv.org/abs/2307.11864v1
- Date: Fri, 21 Jul 2023 19:09:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 19:18:28.216321
- Title: The Looming Threat of Fake and LLM-generated LinkedIn Profiles:
Challenges and Opportunities for Detection and Prevention
- Title(参考訳): フェイクおよびllm生成のlinkedinプロファイルの脅威: 検出と防止のための挑戦と機会
- Authors: Navid Ayoobi, Sadat Shahriar, Arjun Mukherjee
- Abstract要約: 本稿では,LinkedIn Online Social Networkにおいて,偽および大規模言語モデル(LLM)生成プロファイルを検出する新しい手法を提案する。
提案手法は,すべての単語の埋め込みにおいて,正当性と偽のプロファイルを約95%の精度で識別できることを示す。
- 参考スコア(独自算出の注目度): 0.8808993671472349
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a novel method for detecting fake and Large
Language Model (LLM)-generated profiles in the LinkedIn Online Social Network
immediately upon registration and before establishing connections. Early fake
profile identification is crucial to maintaining the platform's integrity since
it prevents imposters from acquiring the private and sensitive information of
legitimate users and from gaining an opportunity to increase their credibility
for future phishing and scamming activities. This work uses textual information
provided in LinkedIn profiles and introduces the Section and Subsection Tag
Embedding (SSTE) method to enhance the discriminative characteristics of these
data for distinguishing between legitimate profiles and those created by
imposters manually or by using an LLM. Additionally, the dearth of a large
publicly available LinkedIn dataset motivated us to collect 3600 LinkedIn
profiles for our research. We will release our dataset publicly for research
purposes. This is, to the best of our knowledge, the first large publicly
available LinkedIn dataset for fake LinkedIn account detection. Within our
paradigm, we assess static and contextualized word embeddings, including GloVe,
Flair, BERT, and RoBERTa. We show that the suggested method can distinguish
between legitimate and fake profiles with an accuracy of about 95% across all
word embeddings. In addition, we show that SSTE has a promising accuracy for
identifying LLM-generated profiles, despite the fact that no LLM-generated
profiles were employed during the training phase, and can achieve an accuracy
of approximately 90% when only 20 LLM-generated profiles are added to the
training set. It is a significant finding since the proliferation of several
LLMs in the near future makes it extremely challenging to design a single
system that can identify profiles created with various LLMs.
- Abstract(参考訳): 本稿では,LinkedIn Online Social Networkにおいて,登録直後および接続確立直前に偽・大規模言語モデル(LLM)生成プロファイルを検出する新しい手法を提案する。
初期のフェイクプロファイルの識別は、正当なユーザーのプライベートで機密性の高い情報を取得し、将来のフィッシングや詐欺行為に対する信頼性を高める機会を得ることを禁止しているため、プラットフォームの完全性を維持するために重要である。
この作業では、LinkedInプロファイルに提供されるテキスト情報を使用し、セクションおよびサブセクションタグ埋め込み(SSTE)メソッドを導入し、これらのデータの識別特性を高めて、正規プロファイルとインポスタが手動で作成したプロファイル、あるいはLLMを使用して区別する。
さらに、大規模な公開可能なLinkedInデータセットの発掘により、研究のために3600のLinkedInプロファイルを収集しました。
研究目的のためにデータセットを公開します。
これは私たちの知る限りでは、偽のLinkedInアカウント検出のための最初の大規模な公開LinkedInデータセットです。
本パラダイムでは,GloVe, Flair, BERT, RoBERTaなどの静的および文脈的単語埋め込みを評価する。
提案手法は,すべての単語埋め込みにおいて正統なプロファイルと偽のプロファイルを95%の精度で識別できることを示す。
さらに, SSTEは, LLM生成プロファイルをトレーニング期間中に使用しなかったにもかかわらず, LLM生成プロファイルの同定に有望な精度を示し, 20個のLLM生成プロファイルをトレーニングセットに追加した場合, 約90%の精度が得られることを示した。
近い将来に複数のLSMが増殖すると、様々なLSMで生成されたプロファイルを識別できる単一のシステムの設計が極めて困難になるため、重要な発見である。
関連論文リスト
- On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。
LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。
本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Evaluating Large Language Model based Personal Information Extraction and Countermeasures [63.91918057570824]
大規模言語モデル(LLM)は、攻撃者が個人プロファイルから様々な個人情報を正確に抽出するために誤用することができる。
LLMはそのような抽出において従来の方法より優れている。
即時注射は、そのようなリスクを広範囲に軽減し、従来の対策より優れている。
論文 参考訳(メタデータ) (2024-08-14T04:49:30Z) - Two Tales of Persona in LLMs: A Survey of Role-Playing and Personalization [33.513689684998035]
対話文学で最初に採用されたペルソナの概念は、大きな言語モデルを特定の文脈に合わせるための有望な枠組みとして復活してきた。
ギャップを埋めるために、フィールドの現状を分類するための総合的な調査を提示する。
論文 参考訳(メタデータ) (2024-06-03T10:08:23Z) - Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。
情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
論文 参考訳(メタデータ) (2024-05-30T21:51:01Z) - ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
本稿では,これらのモデルで共有される共通特性について述べる。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳(メタデータ) (2024-05-27T17:38:33Z) - Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。
我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文 参考訳(メタデータ) (2024-02-12T17:52:05Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Identifying Fake Profiles in LinkedIn [0.22843885788439797]
LinkedInのフェイクプロフィールを特定するのに必要なプロファイルデータの最小セットを特定します。
偽プロファイル識別のための適切なデータマイニング手法を提案する。
提案手法では,87%の精度と94%のTrue Negative Rateで偽のプロフィールを識別できる。
論文 参考訳(メタデータ) (2020-06-02T04:15:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。