論文の概要: Anatomy of an AI-powered malicious social botnet

• arxiv url: http://arxiv.org/abs/2307.16336v1
• Date: Sun, 30 Jul 2023 23:06:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 16:18:06.680272
• Title: Anatomy of an AI-powered malicious social botnet
• Title（参考訳）: AIを利用した悪質なソーシャルボットネットの解剖
• Authors: Kai-Cheng Yang and Filippo Menczer
• Abstract要約: 本稿では,ChatGPTを用いて人間的なコンテンツを生成するTwitterボットネットについて述べる。 1,140のアカウントを識別し,手動のアノテーションで検証する。 ChatGPTが生成したコンテンツは不審なウェブサイトを促進し、有害なコメントを広める。
• 参考スコア（独自算出の注目度）: 6.147741269183294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit impressive capabilities in generating realistic text across diverse subjects. Concerns have been raised that they could be utilized to produce fake content with a deceptive intention, although evidence thus far remains anecdotal. This paper presents a case study about a Twitter botnet that appears to employ ChatGPT to generate human-like content. Through heuristics, we identify 1,140 accounts and validate them via manual annotation. These accounts form a dense cluster of fake personas that exhibit similar behaviors, including posting machine-generated content and stolen images, and engage with each other through replies and retweets. ChatGPT-generated content promotes suspicious websites and spreads harmful comments. While the accounts in the AI botnet can be detected through their coordination patterns, current state-of-the-art LLM content classifiers fail to discriminate between them and human accounts in the wild. These findings highlight the threats posed by AI-enabled social bots.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多様な主題にまたがる現実的なテキストを生成する優れた能力を示す。 偽コンテンツは偽の意図で作り出せるのではないかという懸念が持ち上がっているが、これまでのところ証拠はいまだに残されている。 本稿では、ChatGPTを用いて人間的なコンテンツを生成するTwitterボットネットのケーススタディを提案する。 ヒューリスティックスによって1,140のアカウントを特定し,手動アノテーションで検証する。 これらのアカウントは偽のペルソナの密集した集団を形成し、マシンが生成したコンテンツや盗まれた画像を投稿し、返信やリツイートを通じて互いに関わり合います。 ChatGPTが生成したコンテンツは不審なウェブサイトを促進し、有害なコメントを広める。 AIボットネットのアカウントは、調整パターンを通じて検出できるが、現在の最先端のLLMコンテンツ分類器は、野生の人間のアカウントと区別できない。 これらの発見は、AI対応のソーシャルボットによる脅威を浮き彫りにしている。

関連論文リスト

• Exploring and Mitigating Adversarial Manipulation of Voting-Based Leaderboards [93.16294577018482]
  このタイプの最も人気のあるベンチマークであるArenaは、ランダムに選択された2つのモデル間のより良いレスポンスを選択するようユーザに求めることで、モデルをランク付けする。 攻撃者は、約1000票の費用で、リーダーボードを変更できる(お気に入りのモデルを宣伝したり、ライバルを降格させる)。 私たちの攻撃は2つのステップで構成されている。まず、攻撃者が95%以上の精度で特定の応答を生成するためにどのモデルを使用したかを決定する方法を示し、次に、攻撃者はこの情報を使ってターゲットモデルに対して一貫して投票することができる。
  論文  参考訳（メタデータ） (2025-01-13T17:12:38Z)
• Evaluating and Mitigating IP Infringement in Visual Generative AI [54.24196167576133]
  最先端のビジュアル生成モデルは、知的財産権によって保護されたキャラクターと著しく類似したコンテンツを生成することができる。 これは、入力プロンプトが文字の名前を含む場合や、その特性に関する記述的な詳細を含む場合に発生する。 我々は、潜在的に侵害される可能性のあるコンテンツを特定し、IP侵害を防止するための修正された生成パラダイムを開発する。
  論文  参考訳（メタデータ） (2024-06-07T06:14:18Z)
• Adversarial Botometer: Adversarial Analysis for Social Bot Detection [1.9280536006736573]
  ソーシャルボットは人間の創造性を模倣するコンテンツを制作する。 悪意のあるソーシャルボットは、非現実的なコンテンツで人々を騙すようになる。 テキストベースのボット検出器の動作を競合環境下で評価する。
  論文  参考訳（メタデータ） (2024-05-03T11:28:21Z)
• AbuseGPT: Abuse of Generative AI ChatBots to Create Smishing Campaigns [0.0]
  本稿では,既存のAIベースのチャットボットが現実世界の攻撃者によってどのように悪用され,スマイシングテキストを作成するかを示すために,AbuseGPT法を提案する。 我々は、攻撃者が既存の生成AIベースのチャットボットサービスの倫理的基準を活用できることを示す強力な実証的証拠を発見した。 また、生成AIベースのサービスの不正行為を保護するための今後の研究方針やガイドラインについても論じる。
  論文  参考訳（メタデータ） (2024-02-15T05:49:22Z)
• Understanding writing style in social media with a supervised contrastively pre-trained transformer [57.48690310135374]
  オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。 本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。 512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
  論文  参考訳（メタデータ） (2023-10-17T09:01:17Z)
• From Online Behaviours to Images: A Novel Approach to Social Bot Detection [0.3867363075280544]
  特定のタイプの社会アカウントは、要求できないコンテンツ、過党派、宣伝的な情報を促進することが知られている。 まず、アカウントが実行するアクションのシーケンスを画像に変換する新しいアルゴリズムを提案する。 文献でよく知られた実際のアカウント/ボットアカウントデータセット上でのボット検出の最先端結果と比較する。
  論文  参考訳（メタデータ） (2023-04-15T11:36:50Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Identification of Twitter Bots based on an Explainable ML Framework: the US 2020 Elections Case Study [72.61531092316092]
  本稿では,ラベル付きTwitterデータに基づくTwitterボット識別システムの設計に焦点をあてる。 Supervised Machine Learning (ML)フレームワークは、Extreme Gradient Boosting (XGBoost)アルゴリズムを用いて採用されている。 また、MLモデルの予測を説明するためにShapley Additive Explanations (SHAP)をデプロイした。
  論文  参考訳（メタデータ） (2021-12-08T14:12:24Z)
• TweepFake: about Detecting Deepfake Tweets [3.3482093430607254]
  ディープニューラルモデルは、コヒーレントで非自明で人間のようなテキストサンプルを生成することができる。 ソーシャルボットは、公開討論を汚染することを望んで、もっともらしいディープフェイクメッセージを書くことができる。 私たちは、本物のディープフェイクツイートの最初のデータセット、TweepFakeを収集します。
  論文  参考訳（メタデータ） (2020-07-31T19:01:13Z)
• Twitter Bot Detection Using Bidirectional Long Short-term Memory Neural Networks and Word Embeddings [6.09170287691728]
  本稿では,Twitterボットを人間アカウントと区別するために,単語埋め込みを用いたリカレントニューラルネットワークを開発した。 実験により,既存の最先端ボット検出システムと比較して,本手法が競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2020-02-03T17:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。