論文の概要: SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces

• arxiv url: http://arxiv.org/abs/2606.01317v1
• Date: Sun, 31 May 2026 16:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.581627
• Title: SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces
• Title（参考訳）: SABER:ステートフルプロジェクトワークスペースにおけるLLM符号化エージェントの運用安全性のベンチマーク
• Authors: Qi Hu, Yifeng Tang, Qinghua Wang, Lanyang Zhao, Pengji Zhang, Yuhao Qing, Xin Yao, Dong Huang, Lin Zhang, Zhuoran Ji,
• Abstract要約: SABERは、大規模言語モデルにおける環境に配慮した運用安全性のベンチマークである。 リアルなエージェントスタイルのプロジェクトにモデルを配置し、一連のアクションの後に最終環境状態から安全性を評価する。 評価の結果, 最高性能モデルでさえ, 54%以上の有害な安全違反率を有することが明らかとなった。
• 参考スコア（独自算出の注目度）: 18.650640826228862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed as coding agents, shifting safety from individual responses to action sequences. Existing benchmarks, however, primarily assess whether models refuse unsafe prompts, leaving impacts on stateful workspaces largely unexamined. We present SABER, a benchmark for environment-aware operational safety that places models in realistic agent-style projects and evaluates safety from the final environment state after a sequence of actions. Beyond binary safety-violation reports, SABER categorizes violations by cause, enabling analysis of model-specific safety profiles. Our evaluations show that even the best-performing model has more than a 54% harmful safety-violation rate (HSR), suggesting that current alignment remains insufficient for realistic project environments. SABER further reveals distinct safety profiles across models. Our benchmark is publicly available at https://github.com/sssr-lab/saber.
• Abstract（参考訳）: 大規模言語モデルはますますコーディングエージェントとしてデプロイされ、個々のレスポンスからアクションシーケンスへの安全性がシフトしている。 しかし、既存のベンチマークは、モデルが安全でないプロンプトを拒否するかどうかを主に評価し、ステートフルなワークスペースへの影響はほとんど検討されていない。 本稿では,現実的なエージェントスタイルのプロジェクトにおいてモデルを配置し,一連のアクションの後に最終環境状態から安全性を評価する,環境に配慮した運用安全性のベンチマークであるSABERを提案する。 バイナリ安全性違反の報告以外にも、SABERは原因によって違反を分類し、モデル固有の安全プロファイルの分析を可能にする。 評価の結果,最も優れたモデルであっても54%以上の有害な安全違反率(HSR)が得られており,実際のプロジェクト環境において現在のアライメントが不十分であることが示唆された。 SABERはさらに、モデル間で異なる安全性プロファイルを明らかにしている。 私たちのベンチマークはhttps://github.com/ssr-lab/saber.comで公開されています。

関連論文リスト

• RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
  下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。 本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
  論文  参考訳（メタデータ） (2026-05-03T14:48:18Z)
• Fine-Tuning Lowers Safety and Disrupts Evaluation Consistency [17.57889200051214]
  特定のドメインやタスクに対して汎用的な大規模言語モデル(LLM)を微調整することは,一般ユーザにとって日常的な手順となっている。 我々は、これを「攻撃」の良質な性質と相まって、微調整の広汎な取り込みによるLCMの臨界故障モードとみなす。 本実験では, 微調整装置に不連続な変化が生じても, 安全性評価の結果に驚くほどのばらつきが認められた。
  論文  参考訳（メタデータ） (2025-06-20T17:57:12Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• STAIR: Improving Safety Alignment with Introspective Reasoning [44.780098674618614]
  SafeTyアライメントとItrospective Reasoningを統合したフレームワークSTAIRを提案する。 その結果,STAIRは本能的アライメント戦略と比較して,有害なアウトプットを効果的に軽減し,有用性を保っていることがわかった。 テスト時のスケーリングでは、STAIRは一般的なジェイルブレイク攻撃に対して、Claude-3.5に匹敵する安全性能を達成する。
  論文  参考訳（メタデータ） (2025-02-04T15:02:55Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。