論文の概要: BioRefusalAudit: Auditing Biosecurity Refusal Depth Using General and Domain-Fine-Tuned Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2605.30162v1
• Date: Thu, 28 May 2026 16:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.479352
• Title: BioRefusalAudit: Auditing Biosecurity Refusal Depth Using General and Domain-Fine-Tuned Sparse Autoencoders
• Title（参考訳）: Bio RefusalAudit:ジェネラルおよびドメインフィン可変スパースオートエンコーダを用いたバイオセキュリティ拒絶深さの監査
• Authors: Caleb DeLeeuw,
• Abstract要約: 5つのアーキテクチャにまたがって、モデルでは、危険から良性をきれいに区別することはできません。 我々はスケジュールIのパネルを試験したが、生物学的には毒性のない化合物を試験した。 予備的な証拠は、アクティベーションレベルの監査が行動評価に見えない障害モードを表面化する可能性を示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biosecurity evaluations of language models typically ask whether models produce hazardous output. This paper asks a complementary question: when a model refuses, is that refusal structurally sound, or does it disappear under modest changes to prompt framing, formatting, or output length? Across five architectures, no model cleanly discriminated benign from hazard. Gemma 2 2B-IT never genuinely refused across 75 prompts, hedging on every hazard-adjacent query. Gemma 4 E2B-IT refused 65/75 prompts with chat-template formatting and 0/75 without it. Both Gemma models collapsed to 0% under an 80-token cap. Qwen 2.5 1.5B and Phi-3-mini over-refused, flagging 83-87% of benign biology as hazardous. Llama 3.2 1B showed the only meaningful tier gradient (61-point spread). To probe what drives such over-refusal, we tested a panel of Schedule I but biologically non-toxic compounds (notably psilocybin cultivation, with FDA Breakthrough Therapy status). Some models refused these at rates exceeding genuinely hazardous biology, suggesting refusal tracks legality and cultural salience over CBRN hazard. To measure the internal side, we introduce a divergence score D comparing a model's surface response label to its internal sparse autoencoder (SAE) feature activations. Full D was computed on Gemma 2 2B-IT (Gemma Scope 1) and Gemma 4 E2B-IT (author-trained bio SAE). Two fine-tuned Gemma 2 domain SAEs were released. On Gemma 4, comply and refuse responses separated by a 0.647-point gap with zero overlap (n=75), though this is preliminary, with a narrow catalog, within-sample calibration, and Gemma-family-only SAE coverage. Built over one hackathon weekend on consumer hardware (GTX 1650 Ti Max-Q, plus Colab T4 for SAE training), this preliminary evidence suggests activation-level auditing may surface failure modes invisible to behavioral evaluation, with substantial variation across architectures.
• Abstract（参考訳）: 言語モデルのバイオセキュリティ評価は通常、モデルが有害な出力を生成するかどうかを問う。 モデルが拒否した場合、構造的な音を拒絶するか、あるいはフレーミング、フォーマット、出力長の急激な変更の下で消えるのか? 5つのアーキテクチャにまたがって、モデルでは、危険から良性をきれいに区別することはできません。 Gemma 2 2B-ITは、75のプロンプトを真に拒否することはない。 Gemma 4 E2B-ITは65/75のプロンプトを、チャットテンプレートフォーマットと0/75のプロンプトで拒否した。 両方のGemmaモデルは80トンの上限で0%に崩壊した。 Qwen 2.5 1.5BとPhi-3-miniは過剰に溶解し、良性生物学の83-87%が有害であると警告した。 Llama 3.2 1Bは唯一有意な層勾配(61点展開)を示した。 このような過剰な拒絶の要因を調査するため、我々はスケジュールIのパネルを試験したが、生物学的には毒性のない化合物(特にシロシビン栽培、FDAブレイクスルー療法のステータス)を試験した。 一部のモデルでは、これらが真に有害な生物学を上回る速度で拒絶されており、CBRNの危険性に対する合法性や文化的サリエンス(英語版)の拒絶を示唆している。 内部側面を測定するために,モデルの表面応答ラベルと内部スパースオートエンコーダ(SAE)機能アクティベーションを比較した分散スコアDを導入する。 Full D は Gemma 2 2B-IT (Gemma Scope 1) と Gemma 4 E2B-IT (作者訓練バイオSAE) で計算された。 2つの微調整されたGemma 2ドメインSAEがリリースされた。 Gemma 4では、0のオーバーラップ(n=75)を持つ0.647ポイントのギャップで分離された応答を順守し拒否するが、これは限定的であり、狭義のカタログ、サンプル内校正、GemmaファミリーのみのSAEカバレッジを持つ。 コンシューマー向けハードウェア(GTX 1650 Ti Max-Q、SAEトレーニング用のColab T4)で週末に1回以上のハッカソンで構築されたこの前例は、アクティベーションレベルの監査が動作評価から見えない障害モードを表面化する可能性を示唆している。

関連論文リスト

• SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models [0.0]
  SomaliBench v0。 4つのモデルすべてに対して、大きな英語とソマリアの拒絶ギャップが見つかる。 3つのモデルにおいて、支配的なソマリアの非拒絶モードは、有害なコンプライアンスに恵まれず、不明確な出力である。
  論文  参考訳（メタデータ） (2026-05-25T04:45:44Z)
• RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts [0.0]
  厳格な拒絶率は、同じプロンプトで0.1%から94.6%である。 18のフロンティアモデルのうち9つは、バイナリーリフェールメトリクスが検出できないデュアルユース層で、ヘッジ・ブット・ヘルプ部分コンプライアンスパターンを示す。
  論文  参考訳（メタデータ） (2026-05-20T09:53:31Z)
• Disposition Distillation at Small Scale: A Three-Arc Negative Result [0.0]
  内部ドラフトでは、Qwen3-0.6Bの学生に+33.9ポイントのMCASと+15.3ポイントのHumanEvalを報告している。 コンテントを損なうことなく, 判断された配置をスタイル的な模倣に転換するオペレータは見つからない。 我々は, 線形H_lastプローブに対する3つのアーク負の結果, 線形H_lastプローブに対する2つの欠陥モード分類, および, 自分たちが生成した偽陽性のクラスを, 公開可能な負に変換する正直なファルシフィケーションパイプラインを寄与する。
  論文  参考訳（メタデータ） (2026-04-13T17:40:31Z)
• DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
  トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。 銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。 我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
  論文  参考訳（メタデータ） (2025-05-29T02:22:14Z)
• Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2 [11.169778211035826]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークの潜在表現を解釈可能な特徴に学習するための教師なしの方法である。 本研究では,JumpReLU SAEのオープンスイートであるGemma Scopeを紹介した。 各SAEの品質を標準メトリクスで評価し、その結果を公表する。
  論文  参考訳（メタデータ） (2024-08-09T16:06:42Z)
• Reproducibility in Multiple Instance Learning: A Case For Algorithmic Unit Tests [59.623267208433255]
  多重インスタンス学習(MIL)は、正と負のラベルと入力の「バグ」を持つ分類問題のサブドメインである。 本研究では,最も顕著な深層MILモデルの5つについて検討し,いずれも標準MILの仮定を尊重していないことを明らかにする。 提案した"アルゴリズムユニットテスト"によってこの問題を特定し,実証する。そこでは,MILを尊重するモデルによって解決可能な,合成データセットを作成する。
  論文  参考訳（メタデータ） (2023-10-27T03:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。