論文の概要: NLP Security and Ethics, in the Wild

• arxiv url: http://arxiv.org/abs/2504.06669v1
• Date: Wed, 09 Apr 2025 08:12:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:07:44.168297
• Title: NLP Security and Ethics, in the Wild
• Title（参考訳）: 野生におけるNLPセキュリティと倫理
• Authors: Heather Lent, Erick Galinkin, Yiyi Chen, Jens Myrup Pedersen, Leon Derczynski, Johannes Bjerva,
• Abstract要約: NLPSecの研究倫理は、サイバーセキュリティにまつわる長年の混乱の多くに直面していない。 文献にまたがるトレンドを特定し、害の最小化や責任のある開示といったトピックに関して、最終的に目覚ましいギャップを見つけます。 この研究の目的は、NLPセキュリティで働く人々のための倫理研究の意図的な文化を育むことにある。
• 参考スコア（独自算出の注目度）: 13.034186226863579
• License:
• Abstract: As NLP models are used by a growing number of end-users, an area of increasing importance is NLP Security (NLPSec): assessing the vulnerability of models to malicious attacks and developing comprehensive countermeasures against them. While work at the intersection of NLP and cybersecurity has the potential to create safer NLP for all, accidental oversights can result in tangible harm (e.g., breaches of privacy or proliferation of malicious models). In this emerging field, however, the research ethics of NLP have not yet faced many of the long-standing conundrums pertinent to cybersecurity, until now. We thus examine contemporary works across NLPSec, and explore their engagement with cybersecurity's ethical norms. We identify trends across the literature, ultimately finding alarming gaps on topics like harm minimization and responsible disclosure. To alleviate these concerns, we provide concrete recommendations to help NLP researchers navigate this space more ethically, bridging the gap between traditional cybersecurity and NLP ethics, which we frame as ``white hat NLP''. The goal of this work is to help cultivate an intentional culture of ethical research for those working in NLP Security.
• Abstract（参考訳）: NLPモデルが多くのエンドユーザによって使用されているため、NLPセキュリティ(NLPSec)は、悪意のある攻撃に対するモデルの脆弱性を評価し、それらに対する包括的な対策を開発することの重要性が高まっている。 NLPとサイバーセキュリティの交差点での作業は、すべての人にとってより安全なNLPを作成する可能性があるが、偶発的な監視は、明確な害をもたらす可能性がある(例えば、プライバシの侵害や悪意のあるモデルの拡散)。 しかし、この新興分野において、NLPの研究倫理は、これまでもサイバーセキュリティにまつわる長年の混乱の多くに直面していない。 そこで我々は,NLPSec全体での同時代の著作を検証し,サイバーセキュリティの倫理的規範との関わりについて検討する。 文献にまたがるトレンドを特定し、害の最小化や責任のある開示といったトピックに関して、最終的に目覚ましいギャップを見つけます。 これらの懸念を軽減するため、我々は、従来のサイバーセキュリティとNLP倫理のギャップを埋めて、NLP研究者がより倫理的にこの空間をナビゲートするための具体的な勧告を提供する。 この研究の目的は、NLPセキュリティで働く人々のための倫理研究の意図的な文化を育むことにある。

関連論文リスト

• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• The Ethics of Interaction: Mitigating Security Threats in LLMs [1.407080246204282]
  この論文は、社会や個人のプライバシに対するこのようなセキュリティ上の脅威に対する、倫理的な悪影響について論じている。 われわれは、プロンプト注入、ジェイルブレイク、個人識別情報(PII)露出、性的に明示的なコンテンツ、ヘイトベースのコンテンツという5つの主要な脅威を精査し、彼らの批判的な倫理的結果と、彼らが堅牢な戦略戦略のために作り出した緊急性を評価する。
  論文  参考訳（メタデータ） (2024-01-22T17:11:37Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• Use of LLMs for Illicit Purposes: Threats, Prevention Measures, and Vulnerabilities [14.684194175806203]
  大規模言語モデル(LLM)は詐欺、偽造、マルウェアの発生に誤用されることがある。 本稿では,LSMの生成能力による脅威と,そのような脅威に対処するための予防措置と,不完全な予防措置に起因する脆弱性との関係を分類する。
  論文  参考訳（メタデータ） (2023-08-24T14:45:50Z)
• Examining risks of racial biases in NLP tools for child protective services [78.81107364902958]
  児童保護サービス(CPS)に焦点をあてる。 この設定で確立された人種的偏見を考えると、NLPの展開は人種格差を増大させる可能性がある。 我々は、NERモデルにおける一貫したアルゴリズムの不公平性、コア参照解決モデルにおけるアルゴリズムの不公平性、およびリスク予測における人種バイアスの悪化の証拠を文書化している。
  論文  参考訳（メタデータ） (2023-05-30T21:00:47Z)
• Beyond the Safeguards: Exploring the Security Risks of ChatGPT [3.1981440103815717]
  大きな言語モデル(LLM)の人気が高まると、安全性、セキュリティリスク、倫理的影響に対する懸念が高まっている。 本稿では、悪意のあるテキストやコード生成、プライベートデータ開示、不正なサービス、情報収集、非倫理的コンテンツの生成など、ChatGPTに関連するさまざまなセキュリティリスクの概要について述べる。
  論文  参考訳（メタデータ） (2023-05-13T21:01:14Z)
• Why Should Adversarial Perturbations be Imperceptible? Rethink the Research Paradigm in Adversarial NLP [83.66405397421907]
  セキュリティシナリオにおけるテキスト敵検体の研究パラダイムを再考する。 最初に、セキュリティデータセットコレクションのAdvbenchを収集し、処理し、リリースします。 次に,現実の攻撃手法をシミュレートするために,現実の敵目標を容易に達成できるルールに基づく簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-19T15:53:36Z)
• Beyond Fair Pay: Ethical Implications of NLP Crowdsourcing [7.148585157154561]
  研究者が使用する共通の倫理的枠組みであるFinal Ruleは,データ収集にオンラインクラウドソーシングプラットフォームを使用することを期待していなかった。 NLPタスクを実行するクラウドワーカーが危険にさらされる一般的なシナリオを列挙します。 我々は,ベルモント報告書が定める3つの倫理的原則を考慮し,これらのリスクを評価することを推奨する。
  論文  参考訳（メタデータ） (2021-04-20T16:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。