論文の概要: The dark deep side of DeepSeek: Fine-tuning attacks against the safety alignment of CoT-enabled models

• arxiv url: http://arxiv.org/abs/2502.01225v1
• Date: Mon, 03 Feb 2025 10:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:58.230815
• Title: The dark deep side of DeepSeek: Fine-tuning attacks against the safety alignment of CoT-enabled models
• Title（参考訳）: DeepSeekのダークディープサイド:CoT対応モデルの安全アライメントに対する微調整攻撃
• Authors: Zhiyuan Xu, Joseph Gardiner, Sana Belguith,
• Abstract要約: 微調整攻撃は、潜在的に有害な振る舞いを明らかにするために、大きな言語モデルを利用することができる。 本稿では、微調整攻撃を受けた場合の思考の連鎖に基づく推論モデルDeepSeekの性能について検討する。 思考の連鎖(Chain of Thought)の脆弱性に光を当てて、微調整による攻撃と、その安全性と倫理的展開に影響を及ぼすことを目指している。
• 参考スコア（独自算出の注目度）: 10.524960491460945
• License:
• Abstract: Large language models are typically trained on vast amounts of data during the pre-training phase, which may include some potentially harmful information. Fine-tuning attacks can exploit this by prompting the model to reveal such behaviours, leading to the generation of harmful content. In this paper, we focus on investigating the performance of the Chain of Thought based reasoning model, DeepSeek, when subjected to fine-tuning attacks. Specifically, we explore how fine-tuning manipulates the model's output, exacerbating the harmfulness of its responses while examining the interaction between the Chain of Thought reasoning and adversarial inputs. Through this study, we aim to shed light on the vulnerability of Chain of Thought enabled models to fine-tuning attacks and the implications for their safety and ethical deployment.
• Abstract（参考訳）: 大規模な言語モデルは、通常、トレーニング前の段階で大量のデータに基づいて訓練される。 微調整攻撃は、モデルにそのような振る舞いを明らかにするよう促すことによってこれを悪用し、有害なコンテンツを生み出す。 本稿では,思考の連鎖に基づく推論モデルであるDeepSeekの微調整攻撃時の性能について検討する。 具体的には、微調整がモデルの出力をどのように操作し、思考の連鎖的推論と敵対的入力の相互作用を調べながら、その応答の有害性を悪化させるかを検討する。 本研究は,思考の連鎖(Chain of Thought)モデルによる微調整攻撃の脆弱性と,その安全性と倫理的展開に与える影響を明らかにすることを目的としている。

関連論文リスト

• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• Mellivora Capensis: A Backdoor-Free Training Framework on the Poisoned Dataset without Auxiliary Data [29.842087372804905]
  本稿では,現実シナリオにおけるバックドア攻撃対策の課題について述べる。 本稿では,モデルトレーナーが有毒なデータセット上でクリーンなモデルをトレーニングできるようにする,堅牢でクリーンなデータのないバックドア防御フレームワークであるMellivora Capensis(textttMeCa)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T12:20:19Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Constrained Adaptive Attacks: Realistic Evaluation of Adversarial Examples and Robust Training of Deep Neural Networks for Tabular Data [19.579837693614326]
  本稿では,制約付きディープラーニングモデルに対する最初の効率的な回避攻撃であるCAAを提案する。 CAAを活用して、クレジットスコア、フィッシング、ボットネット攻撃検出という3つの一般的なユースケースにわたる、ディープタブモデルのベンチマークを構築します。
  論文  参考訳（メタデータ） (2023-11-08T07:35:28Z)
• Unveiling Safety Vulnerabilities of Large Language Models [4.562678399685183]
  本稿では,AttaQと呼ばれる質問の形で,敵対的な事例を含むユニークなデータセットを提案する。 各種モデルの脆弱性を解析することにより,データセットの有効性を評価する。 脆弱なセマンティック領域を特定し命名するための新しい自動アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-07T16:50:33Z)
• Consistent Valid Physically-Realizable Adversarial Attack against Crowd-flow Prediction Models [4.286570387250455]
  ディープラーニング(DL)モデルは、都市全体のクラウドフローパターンを効果的に学習することができる。 DLモデルは、目立たない逆境の摂動に対して不利に作用することが知られている。
  論文  参考訳（メタデータ） (2023-03-05T13:30:25Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Detection Defense Against Adversarial Attacks with Saliency Map [7.736844355705379]
  ニューラルネットワークは、人間の視覚にほとんど受容できない敵の例に弱いことがよく確認されている。 既存の防衛は、敵の攻撃に対するモデルの堅牢性を強化する傾向にある。 本稿では,新たな雑音と組み合わせた新しい手法を提案し,不整合戦略を用いて敵のサンプルを検出する。
  論文  参考訳（メタデータ） (2020-09-06T13:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。