論文の概要: SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal

• arxiv url: http://arxiv.org/abs/2406.14598v2
• Date: Sat, 01 Mar 2025 21:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 17:04:19.308851
• Title: SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal
• Title（参考訳）: SORRY-Bench: 大規模言語モデルの安全性をシステム的に評価する
• Abstract要約: SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
• 参考スコア（独自算出の注目度）: 64.9938658716425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating aligned large language models' (LLMs) ability to recognize and reject unsafe user requests is crucial for safe, policy-compliant deployments. Existing evaluation efforts, however, face three limitations that we address with SORRY-Bench, our proposed benchmark. First, existing methods often use coarse-grained taxonomies of unsafe topics, and are over-representing some fine-grained topics. For example, among the ten existing datasets that we evaluated, tests for refusals of self-harm instructions are over 3x less represented than tests for fraudulent activities. SORRY-Bench improves on this by using a fine-grained taxonomy of 44 potentially unsafe topics, and 440 class-balanced unsafe instructions, compiled through human-in-the-loop methods. Second, linguistic characteristics and formatting of prompts are often overlooked, like different languages, dialects, and more -- which are only implicitly considered in many evaluations. We supplement SORRY-Bench with 20 diverse linguistic augmentations to systematically examine these effects. Third, existing evaluations rely on large LLMs (e.g., GPT-4) for evaluation, which can be computationally expensive. We investigate design choices for creating a fast, accurate automated safety evaluator. By collecting 7K+ human annotations and conducting a meta-evaluation of diverse LLM-as-a-judge designs, we show that fine-tuned 7B LLMs can achieve accuracy comparable to GPT-4 scale LLMs, with lower computational cost. Putting these together, we evaluate over 50 proprietary and open-weight LLMs on SORRY-Bench, analyzing their distinctive safety refusal behaviors. We hope our effort provides a building block for systematic evaluations of LLMs' safety refusal capabilities, in a balanced, granular, and efficient manner. Benchmark demo, data, code, and models are available through https://sorry-bench.github.io.
• Abstract（参考訳）: 安全でないユーザ要求を認識して拒否する、整列した大規模言語モデル(LLM)の能力を評価することは、安全でポリシーに準拠したデプロイメントに不可欠である。 しかし、既存の評価努力は、提案したベンチマークであるSORRY-Benchで対処する3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い分類をしばしば使用し、いくつかのきめ細かいトピックを過剰に表現している。 例えば、私たちが評価した10の既存のデータセットのうち、自己修復命令の拒否テストは不正行為のテストよりも3倍少ない。 SORRY-Benchは、44の潜在的な安全でないトピックと440のクラスバランスの安全でない命令の詳細な分類法を使用して、これを改善している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 SORRY-Benchに20種類の言語拡張を加え,これらの効果を系統的に検討した。 第3に、既存の評価は計算コストのかかる大規模なLCM(例えば、GPT-4)に依存している。 高速かつ高精度な自動安全評価器の設計選択について検討する。 7K以上のアノテーションを収集し,多様なLCM-as-a-judge設計のメタ評価を行うことにより,微調整 7B LLM が GPT-4 スケール LLM に匹敵する精度で計算コストを低減できることを示す。 そこで我々は,SORRY-Bench上で50以上のプロプライエタリかつオープンウェイトなLLMを評価し,その特異な安全性の拒絶行動を分析した。 我々は, LLMの安全性を, バランスよく, 粒状で, 効率よく, 体系的に評価するためのビルディングブロックを提供することを願っている。 ベンチマークデモ、データ、コード、モデルはhttps://sorry-bench.github.io.comから入手できる。

関連論文リスト

• Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models [10.539135916505133]
  小言語モデル(SLM)は、リソースに制約のある、プライバシに敏感な設定にますますデプロイされている。 既存のAIセーフスラッシュセキュリティスラッシュコンプライアンスベンチマークは、SLMに確実に移行できない大きな言語モデルのために設計されている。 これらのベンチマークは、SLMを効果的かつ確実に評価できますか?
  論文  参考訳（メタデータ） (2026-08-17T22:47:14Z)
• evalSmarT: An LLM-Based Framework for Evaluating Smart Contract Generated Comments [0.0]
  大規模な言語モデル(LLM)を評価対象として利用するモジュール型フレームワークである texttevalSmarT を提案する。 コメント生成ツールのベンチマークや,最も情報に富んだアウトプットの選択において,その応用を実証する。
  論文  参考訳（メタデータ） (2025-07-28T12:37:43Z)
• $\texttt{SAGE}$: A Generic Framework for LLM Safety Evaluation [9.935219917903858]
  本稿では、$texttSAGE$(Safety AI Generic Evaluation)フレームワークを紹介する。 $texttSAGE$は、カスタマイズされた動的害評価用に設計された自動モジュール化フレームワークである。 マルチターン会話評価実験により,会話の長さによって害が着実に増加することが判明した。
  論文  参考訳（メタデータ） (2025-04-28T11:01:08Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Finding Blind Spots in Evaluator LLMs with Interpretable Checklists [23.381287828102995]
  テキスト生成タスクにおける評価器として,Large Language Models (LLMs) の有効性を検討する。 我々は,4つの重要な能力を評価する上で,評価用LLMの習熟度を評価するための新しいフレームワークであるFBIを提案する。
  論文  参考訳（メタデータ） (2024-06-19T10:59:48Z)
• UBENCH: Benchmarking Uncertainty in Large Language Models with Multiple Choice Questions [10.28688988951815]
  UBENCHは、大きな言語モデルを評価するためのベンチマークである。 これには、知識、言語、理解、推論能力に関する3,978の質問が含まれている。 また,15個のLPMの信頼性を評価し,GLM4が最も優れていることを発見した。
  論文  参考訳（メタデータ） (2024-06-18T16:50:38Z)
• MLLMGuard: A Multi-dimensional Safety Evaluation Suite for Multimodal Large Language Models [39.97454990633856]
  本稿では,MLLMの多次元安全性評価スイートであるMLLMGuardを紹介する。 バイリンガル画像テキスト評価データセット、推論ユーティリティ、軽量評価器が含まれている。 13種類の先進モデルに対する評価結果は,MLLMが安全かつ責任を負うことができるまでには,まだかなりの道のりを歩んでいることを示唆している。
  論文  参考訳（メタデータ） (2024-06-11T13:41:33Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。