論文の概要: Predictive Response Optimization: Using Reinforcement Learning to Fight Online Social Network Abuse
- arxiv url: http://arxiv.org/abs/2502.17693v1
- Date: Mon, 24 Feb 2025 22:30:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 18:40:36.659992
- Title: Predictive Response Optimization: Using Reinforcement Learning to Fight Online Social Network Abuse
- Title(参考訳): 予測応答最適化:強化学習を用いてオンラインソーシャルネットワークの悪用と戦う
- Authors: Garrett Wilson, Geoffrey Goh, Yan Jiang, Ajay Gupta, Jiaxuan Wang, David Freeman, Francesco Dinuzzo,
- Abstract要約: 我々は、以前の研究で述べられた検出はOSNの乱用と戦っている人々の目標ではないと論じている。
むしろ、虐待による害と良質なユーザーへの影響のトレードオフを最適化する行動を選択することが目的だと信じています。
- 参考スコア(独自算出の注目度): 8.156427899556252
- License:
- Abstract: Detecting phishing, spam, fake accounts, data scraping, and other malicious activity in online social networks (OSNs) is a problem that has been studied for well over a decade, with a number of important results. Nearly all existing works on abuse detection have as their goal producing the best possible binary classifier; i.e., one that labels unseen examples as "benign" or "malicious" with high precision and recall. However, no prior published work considers what comes next: what does the service actually do after it detects abuse? In this paper, we argue that detection as described in previous work is not the goal of those who are fighting OSN abuse. Rather, we believe the goal to be selecting actions (e.g., ban the user, block the request, show a CAPTCHA, or "collect more evidence") that optimize a tradeoff between harm caused by abuse and impact on benign users. With this framing, we see that enlarging the set of possible actions allows us to move the Pareto frontier in a way that is unattainable by simply tuning the threshold of a binary classifier. To demonstrate the potential of our approach, we present Predictive Response Optimization (PRO), a system based on reinforcement learning that utilizes available contextual information to predict future abuse and user-experience metrics conditioned on each possible action, and select actions that optimize a multi-dimensional tradeoff between abuse/harm and impact on user experience. We deployed versions of PRO targeted at stopping automated activity on Instagram and Facebook. In both cases our experiments showed that PRO outperforms a baseline classification system, reducing abuse volume by 59% and 4.5% (respectively) with no negative impact to users. We also present several case studies that demonstrate how PRO can quickly and automatically adapt to changes in business constraints, system behavior, and/or adversarial tactics.
- Abstract(参考訳): オンラインソーシャルネットワーク(OSN)におけるフィッシング、スパム、偽アカウント、データスクレーピング、その他の悪意ある活動を検出することは、10年以上にわたって研究されてきた問題であり、多くの重要な結果が得られている。
乱用検出に関するほとんど全ての既存の研究は、最良の二項分類器、すなわち、高い精度とリコールで、見知らぬ例を「良性」または「悪質」とラベル付けする目標を達成している。
しかし、次に何が起こるかを考える事前の作業は行われていない: サービスが悪用を検出した後、実際に何をするか?
本稿では,OSNの乱用と闘う人々の目標ではなく,過去の研究で述べられているような検出が目的ではないことを論じる。
むしろ私たちは、乱用による害と良質なユーザへの影響の間のトレードオフを最適化するアクションを選択すること(例えば、ユーザを禁止し、リクエストをブロックし、CAPTCHAを示す、あるいは"より多くのエビデンス")を目標としています。
このフレーミングにより、可能なアクションの集合を拡大することで、バイナリ分類器のしきい値を調整するだけでは達成不可能な方法でパレートフロンティアを移動させることができることが分かる。
提案手法の可能性を実証するため, 予測応答最適化 (PRO) を提案する。このシステムは, 使用可能な文脈情報を利用して, 将来の乱用やユーザ体験の指標を予測し, 乱用とハームの多次元トレードオフを最適化し, ユーザ体験に与える影響を判断するシステムである。
私たちはInstagramとFacebookで自動アクティビティを停止することを目的としたPropのバージョンをデプロイしました。
いずれの場合も,POWはベースライン分類システムより優れており,悪用量の59%と4.5%を減らし,利用者に悪影響を及ぼさないことを示した。
また、PROがビジネス制約の変化、システム行動、および/または敵の戦術に素早くかつ自動的に適応できることを示すいくつかのケーススタディも提示する。
関連論文リスト
- PARIS: A Practical, Adaptive Trace-Fetching and Real-Time Malicious Behavior Detection System [6.068607290592521]
本稿では,適応的トレースフェッチ,軽量かつリアルタイムな悪意ある行動検出システムを提案する。
具体的には、Event Tracing for Windows (ETW)で悪意ある振る舞いを監視し、悪意のあるAPIやコールスタックを選択的に収集することを学ぶ。
その結果、より広い範囲のAPIを監視し、より複雑な攻撃行動を検出することができる。
論文 参考訳(メタデータ) (2024-11-02T14:52:04Z) - Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。
BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
論文 参考訳(メタデータ) (2024-08-30T15:39:34Z) - Beyond Trial-and-Error: Predicting User Abandonment After a Moderation Intervention [0.6918368994425961]
本稿では,Redditにおけるモデレーション介入の効果を予測する新しいタスクを提案する。
ユーザの活動、毒性、関係性、書き込みスタイルに関する情報を伝達する142の機能のセットを計算するために、138万の投稿のデータセットを使用します。
本研究は,モデレーション介入の効果を予測できる可能性を示し,予測コンテンツのモデレーションにおける新たな研究方向の道を開くものである。
論文 参考訳(メタデータ) (2024-04-23T08:52:41Z) - Using Motion Forecasting for Behavior-Based Virtual Reality (VR)
Authentication [8.552737863305213]
本稿では,トランスフォーマーを用いた予測と,予測軌道を用いてユーザ認証を行うことによって,将来のユーザ行動を予測する手法を提案する。
提案手法では,認証等価エラー率(EER)を平均23.85%,最大36.14%削減する。
論文 参考訳(メタデータ) (2024-01-30T00:43:41Z) - SeGA: Preference-Aware Self-Contrastive Learning with Prompts for
Anomalous User Detection on Twitter [14.483830120541894]
本稿では,ユーザの異常検出のための自己コントラスト学習であるSeGAを提案する。
SeGAは、投稿を通じてユーザの好みを要約するために、大きな言語モデルを使用する。
モデル設計と事前学習戦略の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-12-17T05:35:28Z) - Decoding the Silent Majority: Inducing Belief Augmented Social Graph
with Large Language Model for Response Forecasting [74.68371461260946]
SocialSenseは、既存のソーシャルネットワーク上に信念中心のグラフを誘導するフレームワークであり、グラフベースの伝播によって社会的ダイナミクスを捉える。
本手法は,ゼロショット設定と教師あり設定の両方に対する実験的な評価において,既存の最先端技術を超えている。
論文 参考訳(メタデータ) (2023-10-20T06:17:02Z) - Online Corrupted User Detection and Regret Minimization [49.536254494829436]
現実世界のオンラインウェブシステムでは、複数のユーザがシステムに順次到着する。
乱れた行動から未知のユーザ関係を学習・活用するために,LOCUDという重要なオンライン学習問題を提案する。
我々はRCLUB-WCUの推測ユーザ関係に基づく新しいオンライン検出アルゴリズムOCCUDを考案した。
論文 参考訳(メタデータ) (2023-10-07T10:20:26Z) - User-Centered Security in Natural Language Processing [0.7106986689736825]
自然言語処理(NLP)におけるユーザ中心のセキュリティの枠組みの提案
NLP内の2つのセキュリティドメインに重点を置いている。
論文 参考訳(メタデータ) (2023-01-10T22:34:19Z) - Evaluating Machine Unlearning via Epistemic Uncertainty [78.27542864367821]
本研究では,不確実性に基づく機械学習アルゴリズムの評価を行う。
これは私たちの最良の知識の一般的な評価の最初の定義です。
論文 参考訳(メタデータ) (2022-08-23T09:37:31Z) - Meta-Wrapper: Differentiable Wrapping Operator for User Interest
Selection in CTR Prediction [97.99938802797377]
クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。
近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。
そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2022-06-28T03:28:15Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。