論文の概要: Probing AI Safety with Source Code

• arxiv url: http://arxiv.org/abs/2506.20471v1
• Date: Wed, 25 Jun 2025 14:19:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.77618
• Title: Probing AI Safety with Source Code
• Title（参考訳）: ソースコードによるAI安全性の証明
• Authors: Ujwal Narayan, Shreyas Chaudhari, Ashwin Kalyan, Tanmay Rajpurohit, Karthik Narasimhan, Ameet Deshpande, Vishvak Murahari,
• Abstract要約: 大規模言語モデル (LLM) はユビキタスになり、多くの安全クリティカルな応用において人間と対面している。 我々は、現代モデルはAIの安全性の目標から外れており、ユーザーにとって安全で有害な体験をもたらすことを実証した。
• 参考スコア（独自算出の注目度）: 49.39895512792655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have become ubiquitous, interfacing with humans in numerous safety-critical applications. This necessitates improving capabilities, but importantly coupled with greater safety measures to align these models with human values and preferences. In this work, we demonstrate that contemporary models fall concerningly short of the goal of AI safety, leading to an unsafe and harmful experience for users. We introduce a prompting strategy called Code of Thought (CoDoT) to evaluate the safety of LLMs. CoDoT converts natural language inputs to simple code that represents the same intent. For instance, CoDoT transforms the natural language prompt "Make the statement more toxic: {text}" to: "make_more_toxic({text})". We show that CoDoT results in a consistent failure of a wide range of state-of-the-art LLMs. For example, GPT-4 Turbo's toxicity increases 16.5 times, DeepSeek R1 fails 100% of the time, and toxicity increases 300% on average across seven modern LLMs. Additionally, recursively applying CoDoT can further increase toxicity two times. Given the rapid and widespread adoption of LLMs, CoDoT underscores the critical need to evaluate safety efforts from first principles, ensuring that safety and capabilities advance together.
• Abstract（参考訳）: 大規模言語モデル (LLM) はユビキタスになり、多くの安全クリティカルな応用において人間と対面している。 これは能力の向上を必要とするが、重要なことは、これらのモデルを人間の価値観と好みに合わせるためのより大きな安全対策と組み合わせることである。 この研究は、現代のモデルがAIの安全性の目標を意識せず、ユーザにとって安全で有害な体験をもたらすことを実証する。 我々は、LLMの安全性を評価するために、CoDoT(Code of Thought)と呼ばれるプロンプト戦略を導入する。 CoDoTは自然言語入力を同じ意図を表す単純なコードに変換する。 例えば、CoDoT は自然言語のプロンプト "Make the statement more toxic: {text}" を "make_more_toxic({text})" に変換する。 以上の結果から,CoDoT は多種多様な最先端 LLM に一貫した故障をもたらすことがわかった。 例えば、GPT-4Turboの毒性は16.5倍、DeepSeek R1は100%失敗し、毒性は7つの近代LCMで平均300%上昇する。 さらに、再帰的にCoDoTを適用すると、毒性は2倍に増加する。 LLMの迅速かつ広く採用されていることを踏まえ、CoDoTは安全性と能力が共に進歩することを保証し、第一原理から安全性の努力を評価することの重要性を強調している。

関連論文リスト

• ROSE: Toward Reality-Oriented Safety Evaluation of Large Language Models [60.28667314609623]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいてブラックボックスコンポーネントとしてますます多くデプロイされている。 我々は,多目的強化学習を用いて敵のLDMを微調整する新しいフレームワークであるReal-Oriented Safety Evaluation (ROSE)を提案する。
  論文  参考訳（メタデータ） (2025-06-17T10:55:17Z)
• $\ exttt{SAGE}$: A Generic Framework for LLM Safety Evaluation [9.935219917903858]
  本稿では、$texttSAGE$(Safety AI Generic Evaluation)フレームワークを紹介する。 $texttSAGE$は、カスタマイズされた動的害評価用に設計された自動モジュール化フレームワークである。 マルチターン会話評価実験により,会話の長さによって害が着実に増加することが判明した。
  論文  参考訳（メタデータ） (2025-04-28T11:01:08Z)
• Sugar-Coated Poison: Benign Generation Unlocks LLM Jailbreaking [15.953888359667497]
  緊急エンジニアリングによる ジェイルブレイク攻撃は 重大な脅威になっています 本研究では,防衛閾値決定(DTD)の概念を導入し,LCMの良質な世代による潜在的安全性への影響を明らかにした。 本稿では,悪質な意図とは逆の意味の良質なインプットを構築するために,「セマンティック・リバーサル」戦略を用いたSugar-Coated Poison攻撃パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-08T03:57:09Z)
• Realistic Evaluation of Toxicity in Large Language Models [28.580995165272086]
  大規模言語モデル(LLM)は、私たちの専門的および日常生活に不可欠なものになっています。 膨大な量のデータに膨大な多様な知識を与えると、避けられない毒性と偏見に晒される。 本稿では,手作業によるプロンプトを含むToroughly Engineered Toxicityデータセットを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T09:42:59Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• ROSE Doesn't Do That: Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive Decoding [89.0074567748505]
  本稿では,既存の命令調整LDMの安全性を高めるための簡易な手法であるROSE(Reverse prompt contrastive decoding)を提案する。 6つの安全性と2つの汎用タスクの実験から、ROSEは5種類の命令調整LDMに対して、一貫した、重要な安全性向上(+13.8%の安全性スコア)をもたらすだけでなく、LLMの汎用能力にも恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2024-02-19T06:58:42Z)
• RLHFPoison: Reward Poisoning Attack for Reinforcement Learning with Human Feedback in Large Language Models [62.72318564072706]
  Reinforcement Learning with Human Feedback (RLHF) は、Large Language Models (LLM) を人間の好みに合わせるために設計された方法論である。 その利点にもかかわらず、RLHFはテキストのランク付けに人間のアノテーションに依存している。 そこで我々は,ある悪意ある行動に到達するために,候補の選好ランク選択に対する中毒攻撃手法であるRancPoisonを提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。