論文の概要: HarmProfile: Characterizing Harmful Distributions in Frontier LLMs

• arxiv url: http://arxiv.org/abs/2608.14577v1
• Date: Thu, 11 Jun 2026 09:39:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.21456
• Title: HarmProfile: Characterizing Harmful Distributions in Frontier LLMs
• Title（参考訳）: HarmProfile:フロンティアLLMにおけるハームフル分布の特徴付け
• Abstract要約: HarmProfileはコンテント中心のベンチマークデータセットで、さまざまなハーモカテゴリやモデルファミリにわたるモデル誤動作を収集する。 HarmProfileには、13のモデルファミリにわたる23のフロンティアLCMから8万以上の検証済みアーティファクトが含まれている。
• 参考スコア（独自算出の注目度）: 92.84062446391407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frontier large language models (LLMs) safety evaluation has largely treated harmful generation as an attack outcome rather than as an object of analysis. Consequently, little is known about the harmful outputs produced during model misbehavior, partly because large-scale, high-quality collections of frontier-LLM misbehavior are difficult to obtain. To address this gap, we introduce HarmProfile, a content-centric benchmark dataset that collects model misbehavior across diverse harm categories and model families, and defines the resulting harmful-output distribution as a model-level risk profile. The premise is that, just as linguistic behavior can be characterized from an utterance corpus, model risk can be characterized from the content, severity, and variation of its safety failures. HarmProfile contains over 80,000 validated artifacts from 23 frontier LLMs across 13 model families, organized into 15 harm categories and 57 subcategories. Using this corpus, we find that frontier LLMs reliably produce harmful content at scale, yet exhibit distinct risk profiles; both harmfulness and diversity grow with model capability, suggesting that frontier LLMs may appear safe yet harbor increasingly dangerous knowledge beneath the alignment surface. Our source code is available at https://github.com/fresh-ma/HarmProfile .
• Abstract（参考訳）: 最前線の大規模言語モデル (LLM) の安全性評価は, 分析対象としてではなく, 攻撃結果として有害な生成を主に扱っている。 その結果,フロンティア・LLMの大規模かつ高品質なミソビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビオビ このギャップに対処するために、さまざまな害カテゴリやモデルファミリーにわたるモデル誤動作を収集するコンテンツ中心のベンチマークデータセットであるHarmProfileを導入し、結果として生じる有害な出力分布をモデルレベルのリスクプロファイルとして定義する。 言語行動が発話コーパスから特徴づけられるように、モデルリスクは、その安全性障害の内容、重大さ、およびバリエーションから特徴づけられる。 HarmProfileには、13のモデルファミリーにわたる23のフロンティアLCMから8万以上の検証済みアーティファクトが含まれており、15の有害カテゴリと57のサブカテゴリで構成されている。 このコーパスを用いて、フロンティアLSMは大規模に有害なコンテンツを確実に生成するが、異なるリスクプロファイルを示し、有害性と多様性はモデル能力によって増大し、フロンティアLSMは安全に見えるが、アライメント面下においてますます危険な知識を保ち続けることが示唆された。 私たちのソースコードはhttps://github.com/fresh-ma/HarmProfileで公開されています。

関連論文リスト

• SHARP: Social Harm Analysis via Risk Profiles for Measuring Inequities in Large Language Models [0.5599792629509229]
  本稿では,リスクプロファイルを用いた社会的ハーム分析について紹介する。 同様の平均リスクを持つモデルでは、尾の露出とボラティリティの2倍以上の違いが示される。
  論文  参考訳（メタデータ） (2026-01-29T03:54:25Z)
• ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
  ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。 モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:14Z)
• PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference [14.530969790956242]
  PKU-SafeRLHFデータセットは、大規模言語モデル(LLM)における安全性アライメントの研究を促進するために設計された。 SafeRLHF と BeaverTails の兄弟プロジェクトとして,質問応答ペアに対する有用性と無害性のアノテーションを分離する。 全体として、44.6kの精巧なプロンプトと、265kの質問応答ペアに、安全メタラベルを19の有害カテゴリーと3つの重度レベルを付与する。
  論文  参考訳（メタデータ） (2024-06-20T18:37:36Z)
• MBIAS: Mitigating Bias in Large Language Models While Retaining Context [2.321323878201932]
  多様なアプリケーションにおける大規模言語モデル(LLM)は、生成されたコンテンツのコンテキスト整合性を損なうことなく安全性を保証する必要がある。 安全対策に特化して設計されたカスタムデータセットに微調整を施したLLMフレームワークであるMBIASを紹介する。 MBIASは、主要な情報を保持しながら、LLM出力のバイアスや有害な要素を著しく減少させるように設計されている。 実証分析により、BIASは標準評価では30%以上、多様な人口統計検査では90%以上、偏見と毒性の低下を達成していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-18T13:31:12Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。