論文の概要: The Missing Red Line: How Commercial Pressure Erodes AI Safety Boundaries

• arxiv url: http://arxiv.org/abs/2603.13250v1
• Date: Tue, 24 Feb 2026 12:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.230662
• Title: The Missing Red Line: How Commercial Pressure Erodes AI Safety Boundaries
• Title（参考訳）: 赤線が外れた:AIの安全性の境界線がいかに商業的な圧力を発生させるか
• Abstract要約: 商用システムのプロンプトが安全トレーニングをオーバーライドできることに気付きました。 商業目的がユーザの安全と矛盾するシナリオで8つのモデルをテストします。 本研究は,現在の安全訓練が商業展開の文脈に一般化しないことを示唆している。
• 参考スコア（独自算出の注目度）: 3.634215320925722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What happens when an AI assistant is told to "maximise sales" while a user asks about drug interactions? We find that commercial system prompts can override safety training, causing frontier models to lie about medical risks, dismiss safety concerns, and prioritise profit over user welfare. Testing 8 models in scenarios where commercial objectives conflict with user safety -- a diabetic asking about high-sugar supplements, an investor being pushed toward unsuitable products, a traveller steered away from safety warnings -- we uncover catastrophic failures: models fabricating safety information, explicitly reasoning they should refuse but proceeding anyway, and actively discouraging users from consulting doctors. Most alarmingly, models show no "red line", their willingness to comply with harmful requests does not decrease as potential consequences escalate from minor to life-threatening. Our findings suggest that current safety training does not generalise to commercial deployment contexts.
• Abstract（参考訳）: ユーザーが薬物の相互作用について尋ねている間、AIアシスタントが「販売を最大化する」と言われたらどうなるのか? 商業システムのプロンプトは、安全トレーニングをオーバーライドし、フロンティアモデルに医療リスクを負わせ、安全上の懸念を排除し、ユーザーの福祉よりも利益を優先させる。 商業目的がユーザーの安全と矛盾するシナリオで8つのモデルをテストする。糖尿病は高糖のサプリメントを尋ね、投資家は不適切な製品に迫られ、旅行者は安全警告から逃れた。 最も驚くべきことに、モデルは"赤い線"を示さず、有害な要求に従おうとする意志は減少しない。 本研究は,現在の安全訓練が商業展開の文脈に一般化しないことを示唆している。

関連論文リスト

• Agent Safety Is Action Alignment [5.990318568221089]
  アクションセーフティは重みには設置できないと我々は主張する。 不変の特権として表現され、アクションバウンダリでモデルに強制される。
  論文  参考訳（メタデータ） (2026-06-27T05:26:43Z)
• Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents [73.69976712292681]
  電話使用エージェントが危害を免れた場合、安全を示すか、単に行動できないか? 有害な結果は、エージェントがリスクを認識して安全なアクションを選択したり、スクリーンを理解したり、関連するアクションを全く実行できなかったりすることで回避される。 私たちはPhoneSafetyでこの問題に対処しています。これは130以上のアプリにわたる実際の電話インタラクションから引き出された700の安全クリティカルな瞬間のベンチマークです。
  論文  参考訳（メタデータ） (2026-05-08T11:58:57Z)
• CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
  有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。 このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T09:41:21Z)
• Too Helpful to Be Safe: User-Mediated Attacks on Planning and Web-Use Agents [3.7549350220109274]
  我々は、不正なユーザーを騙して信頼できないコンテンツや攻撃者が制御するコンテンツをエージェントに中継する、ユーザー介在型攻撃について研究する。 サンドボックス環境における12の商業エージェントの系統的評価を行う。 以上の結果から,エージェントはデフォルトでは安全でありすぎることが示唆された。
  論文  参考訳（メタデータ） (2026-01-14T03:29:13Z)
• Can AI Perceive Physical Danger and Intervene? [16.825608691806988]
  AIが物理的な世界と対話するとき、新しい安全上の課題が生まれる。 最先端のファンデーションモデルは、物理的な安全性に関する常識的な事実をどの程度理解していますか?
  論文  参考訳（メタデータ） (2025-09-25T22:09:17Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• From Hard Refusals to Safe-Completions: Toward Output-Centric Safety Training [14.489448208361175]
  本稿では,ユーザ意図のバイナリ分類ではなく,アシスタントのアウトプットの安全性を重視した安全訓練アプローチを提案する。 セーフコンプリートトレーニングは安全性を向上し(特にデュアルユースプロンプト)、残留する安全障害の重症度を低減し、モデルの有用性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-12T00:18:23Z)
• Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。 我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。