論文の概要: Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models

• arxiv url: http://arxiv.org/abs/2608.17183v1
• Date: Mon, 17 Aug 2026 22:47:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.158381
• Title: Benchmarking the Benchmarks: Evaluating Automated Safety Benchmarks for Small Language Models
• Title（参考訳）: ベンチマークのベンチマーク:小言語モデルの安全性ベンチマークの自動評価
• Abstract要約: 小言語モデル(SLM)は、リソースに制約のある、プライバシに敏感な設定にますますデプロイされている。 既存のAIセーフスラッシュセキュリティスラッシュコンプライアンスベンチマークは、SLMに確実に移行できない大きな言語モデルのために設計されている。 これらのベンチマークは、SLMを効果的かつ確実に評価できますか?
• 参考スコア（独自算出の注目度）: 10.539135916505133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small Language Models (SLMs) are increasingly deployed in resource-constrained, privacy-sensitive settings, where safety and bias failures can cause security and societal risks. However, existing AI safety\slash security\slash compliance benchmarks are designed for large language models that may not transfer reliably to SLMs. We therefore ask: Can these benchmarks effectively and reliably evaluate SLMs? To answer this question, we conduct a large-scale assessment of the effectiveness and robustness of these automated pipelines by evaluating five widely used benchmark suites across 26 open-source SLMs under a unified judging rubric, which assigns a score of 0, 1, or 0.5 to harmful, safe, or ambiguous/irrelevant responses, respectively. Across the benchmarks, ambiguous judgments dominate and correlate with prompt complexity and model architecture, indicating that {\em LLM-centric safety benchmarks are insufficient as standalone evidence for SLM safety assessment}. In general, the ambiguity rate increases with lexical density, output perplexity, and output length and decreases with lexical sophistication, self-coherence, and reply-prompt similarity. This reveals a capability-safety confound that mixes model capability with apparent safety. Since ambiguity is prevalent, aggregate mean-score leaderboards are mathematically brittle: model rankings change significantly under reasonable ambiguity treatments, even when the underlying outputs remain unchanged.
• Abstract（参考訳）: 小言語モデル(SLM)は、安全とバイアス障害がセキュリティと社会的リスクを引き起こす可能性のある、リソースに制約のある、プライバシーに敏感な設定に、ますますデプロイされている。 しかし、既存のAI安全性\slashセキュリティ\slashコンプライアンスベンチマークは、SLMに確実に移行できない大きな言語モデルのために設計されている。 これらのベンチマークは、SLMを効果的かつ確実に評価できますか? そこで我々は,26のオープンソースSLMで広く使用されている5つのベンチマークスイートを,それぞれ0,1,0.5のスコアを有害,安全性,曖昧,無関係な応答に割り当てる統一的判定ルーリックの下で評価することにより,これらの自動パイプラインの有効性と堅牢性を大規模に評価する。 ベンチマーク全体では、曖昧な判断が迅速な複雑性とモデルアーキテクチャと相関し、SLM安全性評価のためのスタンドアロンの証拠として不足していることを示す。 一般に、曖昧性率は、語彙密度、出力パープレキシティ、出力長とともに増加し、語彙の洗練、自己コヒーレンス、返信-プロンプト類似度によって減少する。 これにより、モデル機能と明らかな安全性を混在させる、機能安全の相違が明らかになる。 モデルランキングは、基礎的な出力が変化していない場合でも、合理的なあいまいさ処理の下で著しく変化する。

関連論文リスト

• Navigating the Sea of LLM Evaluation: Investigating Bias in Toxicity Benchmarks [0.36748639131154315]
  本研究は、確立されたベンチマーク設定の堅牢性を調査し、本質的なバイアスを測定する方法を検討する。 本実験では,評価設定が変更された場合のベンチマーク動作に有意な差がみられた。 モデル固有の不安定性を観察し、より堅牢で包括的な安全性評価フレームワークの必要性を明確に示す。
  論文  参考訳（メタデータ） (2026-05-11T14:27:39Z)
• Taxonomy and Consistency Analysis of Safety Benchmarks for AI Agents [6.787194586338237]
  エージェント安全ベンチマークを評価機器として用いた最初の系統解析を行った。 カバレッジマトリックスは、幅広いリスクカバレッジを示すが、方法論的な収束は限定的である一方で、分類学的分析では、サンドボックス、制約付き、しばしば安全のみの評価に集中した行動的ベンチマークコアが示される。 ランドスケープ全体では、ベンチマークの選択は矛盾する安全性の結論を導き、カバレッジカウントはしばしばオーバーステート評価の深さ、環境忠実度形状が報告される安全性、フィールドがエージェント内部リスクよりも外部に不均等に課せられること、メートル法フラグメンテーション制限の比較、そして効果的に不当なままである。
  論文  参考訳（メタデータ） (2026-04-11T04:25:19Z)
• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• Automated Safety Benchmarking: A Multi-agent Pipeline for LVLMs [61.01470415470677]
  大規模視覚言語モデル(LVLM)は、クロスモーダルタスクにおいて顕著な能力を示すが、重大な安全性上の課題に直面している。 既存のベンチマークは、労働集約的な建設プロセス、静的な複雑さ、限定的な差別力によって妨げられている。 LVLMの安全性ベンチマークのための最初の自動システムであるVLSafetyBencherを提案する。
  論文  参考訳（メタデータ） (2026-01-27T11:51:30Z)
• Risk Management for Mitigating Benchmark Failure Modes: BenchRisk [7.869587516646358]
  この研究は26の人気のあるベンチマークを反復分析し、57の障害モードと196の対策戦略を特定した。 緩和は失敗の可能性や重大さを低減し、"ベンチマークリスク"を評価するための枠組みを提供する。
  論文  参考訳（メタデータ） (2025-10-24T13:43:29Z)
• VAL-Bench: Measuring Value Alignment in Language Models [10.745372809345412]
  大きな言語モデル(LLM)は、出力が人間の決定を形作るタスクにますます使われています。 既存のベンチマークは、主に拒否や事前定義された安全違反を追跡するが、モデルが一貫性のある価値システムを保持するかどうかを明らかにしない。 VAL-Bench(Value ALignment Benchmark)を導入し、モデルが公開討論の両面において安定的な価値スタンスを維持しているかどうかを評価する。
  論文  参考訳（メタデータ） (2025-10-06T23:55:48Z)
• When Safe Unimodal Inputs Collide: Optimizing Reasoning Chains for Cross-Modal Safety in Multimodal Large Language Models [50.66979825532277]
  我々は、クロスモーダルチャレンジに適した解釈可能な推論パスを備えた最初のデータセットであるSSUI(Safe-Semantics-but-Unsafe-Interpretation)を紹介した。 新たなトレーニングフレームワークであるSRPO(Safety-Aware Reasoning Path Optimization)も、SSUIデータセットに基づいて設計されている。 実験の結果, SRPO学習モデルでは, キーセーフティベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2025-09-15T15:40:58Z)
• FLEX: A Benchmark for Evaluating Robustness of Fairness in Large Language Models [7.221774553388335]
  バイアスを誘発するために構築されたプロンプトに露出しても、大きな言語モデルが公平性を維持することができるかどうかをテストするための新しいベンチマークを導入する。 我々は、潜在的なバイアスを公平性評価に増幅するプロンプトを統合する。 これは安全性と公正性を保証するために、より厳格な評価ベンチマークの必要性を強調している。
  論文  参考訳（メタデータ） (2025-03-25T10:48:33Z)
• SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
  コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。 手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。 このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
  論文  参考訳（メタデータ） (2024-10-14T21:17:22Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。