論文の概要: An Example Safety Case for Safeguards Against Misuse

• arxiv url: http://arxiv.org/abs/2505.18003v1
• Date: Fri, 23 May 2025 15:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.180793
• Title: An Example Safety Case for Safeguards Against Misuse
• Title（参考訳）: 誤用防止の事例
• Authors: Joshua Clymer, Jonah Weinbaum, Robert Kirk, Kimberly Mai, Selena Zhang, Xander Davies,
• Abstract要約: 我々は、AIアシスタントがもたらすリスクを低いレベルまで低減する、誤用セーフガードのエンド・ツー・エンドの議論について述べる。 まず、仮説的な開発者のレッドチームがどのように保護し、それらを避けるのに必要な労力を見積もるかを説明します。 次に、開発者はこの見積を定量的な"アップリフトモデル"にプラグインして、セーフガードによって導入された障壁が誤用を解消するかを判断する。
• 参考スコア（独自算出の注目度）: 1.5417650840011852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing evaluations of AI misuse safeguards provide a patchwork of evidence that is often difficult to connect to real-world decisions. To bridge this gap, we describe an end-to-end argument (a "safety case") that misuse safeguards reduce the risk posed by an AI assistant to low levels. We first describe how a hypothetical developer red teams safeguards, estimating the effort required to evade them. Then, the developer plugs this estimate into a quantitative "uplift model" to determine how much barriers introduced by safeguards dissuade misuse (https://www.aimisusemodel.com/). This procedure provides a continuous signal of risk during deployment that helps the developer rapidly respond to emerging threats. Finally, we describe how to tie these components together into a simple safety case. Our work provides one concrete path -- though not the only path -- to rigorously justifying AI misuse risks are low.
• Abstract（参考訳）: 既存のAI不正使用保護に関する評価は、実世界の決定に結びつくことがしばしば難しい証拠のパッチワークを提供する。 このギャップを埋めるために、AIアシスタントによって引き起こされるリスクを低いレベルにまで低減する、エンド・ツー・エンドの議論("セーフティケース")について説明する。 まず、仮説的な開発者のレッドチームがどのように保護し、それらを避けるのに必要な労力を見積もるかを説明します。 次に、開発者はこの見積を定量的な"アップリフトモデル"にプラグインして、セーフガードによって導入された障壁がどの程度誤用を解消するかを判断する(https://www.aimisusemodel.com/)。 この手順は、デプロイ中のリスクの継続的なシグナルを提供し、開発者が新興の脅威に迅速に応答するのに役立つ。 最後に、これらのコンポーネントを単純な安全ケースに結びつける方法について説明する。 私たちの研究は、AIの誤用リスクを厳格に正当化する唯一の道ではないが、具体的な道を提供する。

関連論文リスト

• Assessing confidence in frontier AI safety cases [37.839615078345886]
  安全ケースは、システムの安全性に関する最上位のクレームを支持する構造化された議論を示す。 これにより、トップレベルのクレームとどのレベルの信頼が結びつくべきかという疑問が持ち上がる。 提案手法は,AI開発者が優先し,議論の敗者に対する調査をより効率的に行う方法である。
  論文  参考訳（メタデータ） (2025-02-09T06:35:11Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• SafeAligner: Safety Alignment against Jailbreak Attacks via Response Disparity Guidance [48.36220909956064]
  SafeAlignerは、ジェイルブレイク攻撃に対する防御を強化するためのデコード段階で実装された方法論である。 安全性を高めるために訓練されたセンチネルモデルと、よりリスクの高い応答を生成するように設計されたイントルーダモデルである。 SafeAlignerは有害なトークンの発生を低減しつつ、有益トークンの可能性を高めることができることを示す。
  論文  参考訳（メタデータ） (2024-06-26T07:15:44Z)
• Mitigating Fine-tuning based Jailbreak Attack with Backdoor Enhanced Safety Alignment [56.2017039028998]
  言語モデル・アズ・ア・サービス(LM)のファインチューニングは、特にファインチューニングベースのジェイルブレイク攻撃(FJAttack)に対する新たな脅威をもたらす 本稿では,バックドア攻撃の概念と類似性から着想を得たバックドア強化安全アライメント手法を提案する。 我々の総合的な実験は、バックドア強化安全アライメント(Backdoor Enhanced Safety Alignment)を通じて、悪質に微調整されたLSMは、良質な性能を損なうことなく、オリジナルのアライメントモデルと同じような安全性性能を達成することを実証している。
  論文  参考訳（メタデータ） (2024-02-22T21:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。