論文の概要: Auditing Safety Preference Supervision with Recorded Derivations
- arxiv url: http://arxiv.org/abs/2610.27266v1
- Date: Mon, 19 Oct 2026 20:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.49671
- Title: Auditing Safety Preference Supervision with Recorded Derivations
- Title（参考訳）: 記録導出による安全基準監督の監査
- Abstract要約: 本稿では、事前訓練された言語モデルが、プロンプトと応答の事前定義された属性を分類する手法である、シンボリック推論ラベルを提案する。
人間のラベル付けされた200のプロンプトでは、言語モデルが192のプロンプトに対して有効な構造化されたアウトプットを生成する。
測定された良性拒絶は1,319個の良性プロンプトで40.82パーセント、測定された有毒な拒絶は655個の有毒なプロンプトで84.98パーセントである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Preference labels align model training, but the judgments behind them are difficult to inspect or verify. In this paper, we examine how preference construction can be checked when intermediate decisions are recorded, and which of them remain uncertain. We present Symbolic Preference Labeling, a method in which a pretrained language model classifies predefined attributes of prompts and responses. Explicit rules assign response verdicts, and a fixed verdict ranking determines the preference label. Each preference label has a recorded derivation: the response verdicts and preference label can be recomputed from the stored attribute assignments, rules, and verdict ranking without rerunning the language model. On 200 prompts annotated by human raters, the language model produces valid structured outputs for 192 prompts. All eight parsing failures occur in the subset of self-harm prompts marked as harmful. Using 465 preference pairs, we train one policy model with direct preference optimization across five training seeds. Mean measured benign refusal is 40.82 percent on 1,319 benign prompts that resemble unsafe ones, and mean measured toxic refusal is 84.98 percent on 655 toxic prompts. This study distinguishes the reproducibility of preference labels from attribute correctness. The recorded derivations make preference construction open to inspection, while attribute correctness and semantic safety require separate validation.
- Abstract（参考訳）: 選好ラベルはモデルのトレーニングに沿っているが、それらの背後にある判断は検査や検証が難しい。
本稿では,中間決定が記録された場合の嗜好構成の確認方法について検討する。
本稿では、事前訓練された言語モデルが、プロンプトと応答の事前定義された属性を分類する手法である、シンボリック推論ラベルを提案する。
明示的なルールは応答の評定を割り当て、定評定ランキングは優先ラベルを決定する。
各選好ラベルには、記録された導出がある: 応答の評定と選好ラベルは、言語モデルを再実行することなく、記憶された属性の代入、規則、および評定ランクから再計算することができる。
人間のラベル付けされた200のプロンプトでは、言語モデルが192のプロンプトに対して有効な構造化されたアウトプットを生成する。
8つのパーシング障害はすべて、有害であるとマークされた自己修復プロンプトのサブセットで発生します。
465個の選好ペアを用いて,5つの選好種子に対して直接選好最適化を施した1つのポリシーモデルを訓練する。
測定された良性拒絶は1,319個の良性プロンプトで40.82パーセント、測定された有毒な拒絶は655個の有毒なプロンプトで84.98パーセントである。
本研究は,嗜好ラベルの再現性と属性の正しさを区別する。
記録された導出は、好みの構成を検査に開放する一方、属性の正しさとセマンティック安全性は別々に検証する必要がある。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Specification-Based Testing of Large Language Models [3.4298729855744026]
LEST(LLM Evaluation through Specification-driven Testing)は、ブラックボックステストのための仕様として、文書化された安全性クレームを扱うフレームワークである。
LESTでは、各クレームがテストのプロンプトを判断し、Refuse-to-Complyトランジットがそれに対するエビデンスとしてカウントされるかどうかを判断する。
The system card of Claude Opus 4.8 and GPT-5.5 with 97 seed prompts from SORRY-Bench across Mental Health and Self-Harm, Harmful and Violent Content, and Fairness and Bias。
論文 参考訳（メタデータ） (2026-10-10T01:17:21Z) - MARS: Malware Analysis with Rule-Based Scoring of LLM Claims [0.08460698440162889]
大規模な言語モデルでは、外部ポリシーによる直接的な判断や行動的クレームを通じてマルウェアをトリアージすることができる。
マルウェアトリアージフレームワークであるMARSについて,直接分類とシングルパスクレームスコアを比較した。
我々は、アーカイブされた評定を正確に再現し、修正されたポリシーを同じレコードに適用し、提供者によって取り下げられた2つの追加モデルの出力を含む。
論文 参考訳（メタデータ） (2026-10-07T06:55:35Z) - Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。
ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。
10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
論文 参考訳（メタデータ） (2026-10-02T14:36:46Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs [54.96236442484317]
リスクのある知識はモデルに保持でき、特権制御トークンによって行動的に守られることを示す。
Token Inoculation という手法はバインディング・アンド・ブランチ方式を導入している。
論文 参考訳（メタデータ） (2026-07-21T02:15:39Z) - Prefill Awareness in Large Language Models [42.57596462680195]
本研究は,言語モデルが,教師なしと教師なしのアシスタント側コンテキストを区別できるかどうかを考察する。
私たちはフロンティアモデルに十分な事前認識があることに気付きました。
以上の結果から, プリフィルの意識は, 既にいくつかのプリフィル方式にかなり相反していることが示唆された。
論文 参考訳（メタデータ） (2026-06-10T23:26:39Z) - Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models [3.376024929309146]
本研究では,文脈拡張型言語モデルシステムが読者モデル行動に与える影響について検討する。
本稿では,500 MMLU-Pro 項目の固定コンテンツプローブについて紹介する。
各項目は、異なる談話ロールラベルの下で同じ誤解を招く答えを持つアサーションを受け取る。
GPT-5.5, DeepSeek V4 Pro, Llama-3-8B-Instruct, Qwen2.5-7B-Instruct, Misleading Adoption Rate shifts by 56-84%
論文 参考訳（メタデータ） (2026-06-02T18:12:57Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - Challenges in Automated Debiasing for Toxic Language Detection [81.04406231100323]
バイアスド・アソシエーションは、有害な言語を検出するための分類器の開発において課題となっている。
我々は最近,有害な言語検出に適用されたテキスト分類データセットとモデルに対するデバイアス法について検討した。
我々の焦点は語彙(例えば、誓い言葉、スラー、アイデンティティの言及)と方言マーカー(特にアフリカ系アメリカ人の英語)である。
論文 参考訳（メタデータ） (2021-01-29T22:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。