論文の概要: LLM Can be a Dangerous Persuader: Empirical Study of Persuasion Safety in Large Language Models

• arxiv url: http://arxiv.org/abs/2504.10430v1
• Date: Mon, 14 Apr 2025 17:20:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:42.379759
• Title: LLM Can be a Dangerous Persuader: Empirical Study of Persuasion Safety in Large Language Models
• Title（参考訳）: LLMは危険なパースオーダになり得る:大規模言語モデルにおけるパースオーダの安全性に関する実証的研究
• Authors: Minqian Liu, Zhiyang Xu, Xinyi Zhang, Heajun An, Sarvech Qadir, Qi Zhang, Pamela J. Wisniewski, Jin-Hee Cho, Sang Won Lee, Ruoxi Jia, Lifu Huang,
• Abstract要約: パースセーフティ(PersuSafety)は、パースセーフティを評価するための最初の総合的なフレームワークである。 PersuSafetyは6つの異なる非倫理的説得と15の共通の非倫理的戦略をカバーしている。 我々の研究は、説得のような進歩的、目標駆動的な会話における安全性の整合性を改善するために、より注意を払っている。
• 参考スコア（独自算出の注目度）: 47.27098710953806
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have enabled them to approach human-level persuasion capabilities. However, such potential also raises concerns about the safety risks of LLM-driven persuasion, particularly their potential for unethical influence through manipulation, deception, exploitation of vulnerabilities, and many other harmful tactics. In this work, we present a systematic investigation of LLM persuasion safety through two critical aspects: (1) whether LLMs appropriately reject unethical persuasion tasks and avoid unethical strategies during execution, including cases where the initial persuasion goal appears ethically neutral, and (2) how influencing factors like personality traits and external pressures affect their behavior. To this end, we introduce PersuSafety, the first comprehensive framework for the assessment of persuasion safety which consists of three stages, i.e., persuasion scene creation, persuasive conversation simulation, and persuasion safety assessment. PersuSafety covers 6 diverse unethical persuasion topics and 15 common unethical strategies. Through extensive experiments across 8 widely used LLMs, we observe significant safety concerns in most LLMs, including failing to identify harmful persuasion tasks and leveraging various unethical persuasion strategies. Our study calls for more attention to improve safety alignment in progressive and goal-driven conversations such as persuasion.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩により,人間レベルの説得能力にアプローチできるようになった。 しかし、そのような可能性はまた、LSMによる説得の安全性のリスク、特に、操作、騙し、脆弱性の搾取、その他多くの有害な戦術による非倫理的影響の可能性を懸念する。 本研究では, LLMが非倫理的説得タスクを適切に拒否し, 実行中の非倫理的戦略を回避しているか否か, および, 人格特性や外的圧力などの要因が行動にどのように影響するか, という2つの重要な側面を通して, LLMの説得安全性を体系的に調査する。 この目的のために, 説得シーン生成, 説得会話シミュレーション, 説得安全評価の3段階からなる, 説得安全評価のための最初の包括的枠組みであるPersuSafetyを紹介する。 PersuSafetyは6つの異なる非倫理的説得と15の共通の非倫理的戦略をカバーしている。 広く利用されている8つのLSMの広範な実験を通じて、有害な説得課題の特定に失敗し、様々な非倫理的説得戦略を活用できないなど、ほとんどのLSMにおいて重大な安全上の懸念が観察された。 我々の研究は、説得のような進歩的、目標駆動的な会話における安全性の整合性を改善するために、より注意を払っている。

関連論文リスト

• Are Smarter LLMs Safer? Exploring Safety-Reasoning Trade-offs in Prompting and Fine-Tuning [40.55486479495965]
  大規模言語モデル (LLM) は様々なNLPベンチマークで顕著な成功を収めている。 本研究では,LLMにおける推論と安全性の相互作用について検討する。 推論能力が向上し、これまで見過ごされていた脆弱性に光を当てることによって生じる、潜伏する安全性のリスクを強調します。
  論文  参考訳（メタデータ） (2025-02-13T06:37:28Z)
• Topic-FlipRAG: Topic-Orientated Adversarial Opinion Manipulation Attacks to Retrieval-Augmented Generation Models [22.296368955665475]
  本稿では,関連するクエリに対する意見に影響を及ぼすために,敵の摂動を利用する2段階の操作攻撃パイプラインを提案する。 実験により、提案した攻撃は特定のトピックに対するモデルの出力の意見を効果的にシフトさせることが示されている。
  論文  参考訳（メタデータ） (2025-02-03T14:21:42Z)
• Internal Activation as the Polar Star for Steering Unsafe LLM Behavior [50.463399903987245]
  SafeSwitchは、モデルの内部状態を監視し、利用することによって、安全でない出力を動的に制御するフレームワークである。 実証実験の結果,SafeSwitchは安全性ベンチマークで80%以上の有害な出力を削減し,有効性を維持していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• Securing Large Language Models: Threats, Vulnerabilities and Responsible Practices [4.927763944523323]
  大規模言語モデル(LLM)は、自然言語処理(NLP)のランドスケープを大きく変えた。 本研究は,5つのテーマの観点から,LLMに関するセキュリティとプライバシの懸念を徹底的に調査する。 本稿は, LLMの安全性とリスク管理を強化するために, 今後の研究に期待できる道筋を提案する。
  論文  参考訳（メタデータ） (2024-03-19T07:10:58Z)
• The Ethics of Interaction: Mitigating Security Threats in LLMs [1.407080246204282]
  この論文は、社会や個人のプライバシに対するこのようなセキュリティ上の脅威に対する、倫理的な悪影響について論じている。 われわれは、プロンプト注入、ジェイルブレイク、個人識別情報(PII)露出、性的に明示的なコンテンツ、ヘイトベースのコンテンツという5つの主要な脅威を精査し、彼らの批判的な倫理的結果と、彼らが堅牢な戦略戦略のために作り出した緊急性を評価する。
  論文  参考訳（メタデータ） (2024-01-22T17:11:37Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。