論文の概要: A Survey on Data Security in Large Language Models
- arxiv url: http://arxiv.org/abs/2508.02312v1
- Date: Mon, 04 Aug 2025 11:28:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.309681
- Title: A Survey on Data Security in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるデータセキュリティに関する調査
- Authors: Kang Chen, Xiuze Zhou, Yuanguo Lin, Jinhe Su, Yuanhui Yu, Li Shen, Fan Lin,
- Abstract要約: LLM(Large Language Models)は、自然言語処理、テキスト生成、機械翻訳、会話システムなどのパワーアプリケーションの基礎である。
トランスフォーメーションの可能性にもかかわらず、これらのモデルは本質的に大量のトレーニングデータに依存しており、しばしば多種多様な未処理ソースから収集され、深刻なデータセキュリティリスクにさらされる。
有害または悪意のあるデータは、モデル動作を妥協し、有害な出力、幻覚、即発注射やデータ中毒などの脅威に対する脆弱性などの問題を引き起こす。
本調査は、LLMが直面する主要なデータセキュリティリスクの概要と、敵を含む現在の防衛戦略のレビューを提供する。
- 参考スコア(独自算出の注目度): 12.23432845300652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs), now a foundation in advancing natural language processing, power applications such as text generation, machine translation, and conversational systems. Despite their transformative potential, these models inherently rely on massive amounts of training data, often collected from diverse and uncurated sources, which exposes them to serious data security risks. Harmful or malicious data can compromise model behavior, leading to issues such as toxic output, hallucinations, and vulnerabilities to threats such as prompt injection or data poisoning. As LLMs continue to be integrated into critical real-world systems, understanding and addressing these data-centric security risks is imperative to safeguard user trust and system reliability. This survey offers a comprehensive overview of the main data security risks facing LLMs and reviews current defense strategies, including adversarial training, RLHF, and data augmentation. Additionally, we categorize and analyze relevant datasets used for assessing robustness and security across different domains, providing guidance for future research. Finally, we highlight key research directions that focus on secure model updates, explainability-driven defenses, and effective governance frameworks, aiming to promote the safe and responsible development of LLM technology. This work aims to inform researchers, practitioners, and policymakers, driving progress toward data security in LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)は、現在、自然言語処理、テキスト生成、機械翻訳、会話システムなどのパワーアプリケーションの基礎となっている。
トランスフォーメーションの可能性にもかかわらず、これらのモデルは本質的に大量のトレーニングデータに依存しており、しばしば多種多様な未処理ソースから収集され、深刻なデータセキュリティリスクにさらされる。
有害または悪意のあるデータはモデルの振る舞いを損なう可能性があるため、有害な出力、幻覚、即発注射やデータ中毒などの脅威に対する脆弱性などの問題を引き起こす。
LLMは引き続き重要な現実世界のシステムに統合されるため、これらのデータ中心のセキュリティリスクを理解し、対処することは、ユーザの信頼とシステムの信頼性を保護するために不可欠である。
この調査は、LLMが直面する主要なデータセキュリティリスクの概要と、敵の訓練、RLHF、データ拡張を含む現在の防衛戦略のレビューを提供する。
さらに、さまざまな領域にわたる堅牢性とセキュリティを評価するために使用される関連するデータセットを分類、分析し、将来の研究のためのガイダンスを提供する。
最後に、LLM技術の安全で責任ある開発を促進することを目的として、セキュアなモデル更新、説明可能性駆動型防衛、効果的なガバナンスフレームワークに焦点を当てた重要な研究方向を強調します。
この研究は、研究者、実践者、および政策立案者に対して、LLMにおけるデータセキュリティへの前進を促すことを目的としている。
関連論文リスト
- Information Security Based on LLM Approaches: A Review [3.292159069489852]
大規模言語モデル(LLM)は、情報セキュリティの分野で幅広い応用可能性を示している。
本稿では,ニューラルネットワークとTransformerアーキテクチャに基づいて,大規模言語モデルの技術的基盤を分析する。
大規模言語モデリングの導入は,検出精度の向上とセキュリティシステムの誤警報率の低減に有効である。
論文 参考訳(メタデータ) (2025-07-24T09:09:36Z) - Security Concerns for Large Language Models: A Survey [3.175227858236288]
大きな言語モデル(LLM)は自然言語処理に革命をもたらしたが、その能力は新たなセキュリティ脆弱性も導入している。
我々は,LSMに関する新たなセキュリティ上の懸念の包括的概要,迅速な注射と脱獄への脅威の分類,入力の摂動やデータ中毒などの敵攻撃,および自律型LSMエージェントに固有の厄介なリスクについて述べる。
LLMが安全で有益であることを保証するために、堅牢で多層的なセキュリティ戦略を推進していくことの重要性を強調した。
論文 参考訳(メタデータ) (2025-05-24T22:22:43Z) - SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳(メタデータ) (2025-05-23T10:56:06Z) - From Texts to Shields: Convergence of Large Language Models and Cybersecurity [15.480598518857695]
本稿では,大規模言語モデル(LLM)とサイバーセキュリティの収束について検討する。
ソフトウェアおよびネットワークセキュリティ、5G脆弱性分析、生成セキュリティ工学におけるLLMの新たな応用について検討する。
論文 参考訳(メタデータ) (2025-05-01T20:01:07Z) - Safety at Scale: A Comprehensive Survey of Large Model and Agent Safety [296.5392512998251]
我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。
我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
論文 参考訳(メタデータ) (2025-02-02T05:14:22Z) - Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。
LLMをベースとしたエージェントの6つの重要な特徴を概説する。
4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
論文 参考訳(メタデータ) (2024-11-14T15:40:04Z) - Large Language Models for Cyber Security: A Systematic Literature Review [14.924782327303765]
サイバーセキュリティ(LLM4Security)における大規模言語モデルの適用に関する文献の総合的なレビューを行う。
LLMは、脆弱性検出、マルウェア分析、ネットワーク侵入検出、フィッシング検出など、幅広いサイバーセキュリティタスクに応用されている。
第3に、細調整、転送学習、ドメイン固有の事前トレーニングなど、特定のサイバーセキュリティドメインにLLMを適用するための有望なテクニックをいくつか特定する。
論文 参考訳(メタデータ) (2024-05-08T02:09:17Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳(メタデータ) (2024-04-16T13:22:54Z) - Security and Privacy Challenges of Large Language Models: A Survey [2.6986500640871482]
LLM(Large Language Models)は、テキストの生成や要約、言語翻訳、質問応答など、非常に優れた機能を示し、複数の分野に貢献している。
これらのモデルは、Jailbreak攻撃、データ中毒攻撃、Personally Identible Information(PII)漏洩攻撃など、セキュリティやプライバシ攻撃にも脆弱である。
この調査では、トレーニングデータとユーザの両方に対するLLMのセキュリティとプライバシの課題と、輸送、教育、医療といったさまざまな領域におけるアプリケーションベースのリスクについて、徹底的にレビューする。
論文 参考訳(メタデータ) (2024-01-30T04:00:54Z) - Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。
本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
論文 参考訳(メタデータ) (2023-10-16T13:23:54Z) - Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks,
and Defenses [150.64470864162556]
この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。
様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
論文 参考訳(メタデータ) (2020-12-18T22:38:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。