論文の概要: Verdict Without the Rule: Diagnosing and Auditing Regulatory Rule Sensitivity in LLM Compliance Systems

• arxiv url: http://arxiv.org/abs/2610.12313v1
• Date: Thu, 08 Oct 2026 16:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.197107
• Title: Verdict Without the Rule: Diagnosing and Auditing Regulatory Rule Sensitivity in LLM Compliance Systems
• Title（参考訳）: LLMコンプライアンスシステムにおける規制ルール感度の診断と監査
• Abstract要約: これを5つのモデルと20の規制およびプラットフォームポリシドメインで直接テストする。 我々は、判断がOCS(英語版)に変わるか、またはモデルの内部的なコンプライアンスの表現が全く変わるかを確認する。
• 参考スコア（独自算出の注目度）: 3.3598755777055374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model compliance systems are deployed on the assumption that a verdict depends on the regulatory rule it is given. We test this directly across five models and 20 regulatory and platform-policy domains: delete, swap, or negate the governing rule while holding the case fixed, and check whether the verdict changes (OCS) or the model's internal representation of compliance shifts at all (ICS-delta). Neither moves much: models' verdicts are often invariant to substantial perturbations of the supplied rule, and the guard model, evaluated here under a custom-rule adaptation of its native taxonomy, is the least rule-sensitive and least accurate of the five, barely above chance (51%, versus 90-92% for general-purpose models). This reflects easy cases more than blanket neglect: on cases where deleting the rule changes a previously correct model prediction, models do track it closely. Neither better prompting nor direct intervention on the model's internal representations closes this gap. Accuracy alone does not establish that a compliance verdict is grounded in the supplied rule.
• Abstract（参考訳）: 大規模言語モデルコンプライアンスシステムは、判決が与えられた規制規則に依存するという仮定に基づいて展開される。 我々はこれを、5つのモデルと20の規制およびプラットフォームポリティクスドメインで直接テストする: ケースを固定しながらルールを削除、スワップ、無効化し、検証結果の変更(OCS)とモデル内部のコンプライアンスのシフト(ICS-delta)をチェックする。 モデルは、しばしば供給された規則の実質的な摂動に不変であり、ここで評価されたガードモデルは、固有の分類のカスタムルールの適応の下で、最もルールに敏感で、最も正確でない5つのうちの5つ(51%、一般用モデルでは90-92%)である。 ルールの削除が以前正しいモデル予測を変更した場合、モデルはそれを綿密に追跡します。 モデルの内部表現に対する適切なプロンプトや直接的な介入も、このギャップを埋めるものではない。 正確性だけでは、コンプライアンスの判断が供給されたルールに基礎を置いていることは証明されない。

関連論文リスト

• What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models [3.3598755777055374]
  ICS(Internal Compliance Score)は、10組のラベル付きペアからのトレーニング不要のアクティベーション読み出しであり、単一のプロジェクションで得点される。 この状態は、現在のコンプライアンス・ディテクターのクラスにまたがって失敗することを示し、これはルール・ブラインドネスと呼ばれる失敗である。 対策プロトコルとクロスルールベンチマークを公開し、将来の調査でルールの盲点をテストし、クレームを保護します。
  論文  参考訳（メタデータ） (2026-08-17T17:37:07Z)
• Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation [0.0]
  フェデレーションクラスをフロンティアの大規模言語モデルで文書化する。 故障は最初の観測で再現されるが、経験的表面は不安定である。 規制されたフロンティアモデルの正確性は、注意を払わずにシフトする移動したコンプライアンス境界である。
  論文  参考訳（メタデータ） (2026-07-25T22:40:02Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• The Open-Box Fallacy: Why AI Deployment Needs a Calibrated Verification Regime [0.5277024349608833]
  私たちは、認可はドメインスコープで、独立してチェック可能で、リリース後に監視され、説明可能で、競争可能で、取り消し可能であるべきだと論じています。 モデルカード, リーダーボード, 規制開示の能力スコアの横に置かれるべき指標として, 最小構成ルールの6成分報告可能な標準である検証カバレッジを提案する。
  論文  参考訳（メタデータ） (2026-05-11T14:02:56Z)
• Do LLMs Follow Their Own Rules? A Reflexive Audit of Self-Stated Safety Policies [0.0]
  LLMは、RLHFを通じて安全ポリシーを内部化するが、これらのポリシーは公式には指定されず、検査も困難である。 既存のベンチマークは、モデルを外部標準に対して評価するが、モデルが自身のバウンダリを理解し、強制するかどうかを測定することはない。 本稿では,構造化されたプロンプトを介して,モデルが自己決定する安全ルールを抽出するフレームワークであるSNCAを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T10:18:45Z)
• Rule-State Inference (RSI): A Bayesian Framework for Compliance Monitoring in Rule-Governed Domains [0.0]
  ルールアクティベーション,コンプライアンス,パラメトリックドリフトの潜在状態を部分的および雑音観測から推定するルール状態推論(RSI)を提案する。 我々は、トゴレス財政システム上でRSIをインスタンス化し、実際のOTR規則に基づく2000の合成企業のベンチマークであるRSI-Togo-Fiscal-Synthetic v1.0を導入する。
  論文  参考訳（メタデータ） (2026-03-23T06:12:52Z)
• SoFA: Shielded On-the-fly Alignment via Priority Rule Following [90.32819418613407]
  本稿では,各ダイアログにおけるルールを主制御機構として定義する,新たなアライメントパラダイムである優先ルールを提案する。 そこで本研究では,厳密な規則統合と固着性を確保するために,シミュレーションから優先信号に従う半自動蒸留手法であるプライオリティディスティルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T09:52:27Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。