論文の概要: SameFact: The Same Safety Facts Lead to Different Responses Across Interfaces

• arxiv url: http://arxiv.org/abs/2609.35872v1
• Date: Sat, 26 Sep 2026 14:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.871635
• Title: SameFact: The Same Safety Facts Lead to Different Responses Across Interfaces
• Title（参考訳）: SameFact:同じ安全基準がインターフェース全体で異なる反応をもたらす
• Abstract要約: 私たちは、この質問を直接テストするマッチしたカウントファクトのベンチマークであるSameFactを紹介します。 SameFactには300のセーフ/アンセーフペアが含まれており、タスク、事前の観察、候補アクション、識別子、およびターゲット外の事実を保持し、単一の状態の安全事実を変更している。 同一の候補-行動境界における3つのインターフェース(明確な安全判断、チェックポイント候補の入場、オープンファーストアクション選択)を通して、この一致した介入の効果を計測する。
• 参考スコア（独自算出の注目度）: 22.846223329598757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety evaluations often ask whether a model recognizes that an action is unsafe, whereas agent evaluations ask what the model chooses to do. Using safety judgments as evidence about action selection therefore raises a measurement question: does the influence of the same safety-relevant fact persist across response interfaces? We introduce SameFact, a matched-counterfactual benchmark that tests this question directly. SameFact contains 300 safe/unsafe pairs that hold the task, prior observations, candidate action, identifiers, and non-target facts fixed while changing a single state-grounded safety fact. Across six LLM backbones, we measure the effect of this matched intervention through three interfaces at the same candidate-action boundary: explicit safety judgment, checkpoint candidate admission, and open first-action selection. All six backbones show lower aggregate sensitivity under open first-action selection than under judgment, but the change is not a uniform attenuation: across 24 model-factor cells, Spearman agreement falls from 0.817 between judgment and checkpoint admission to 0.470 between judgment and open first-action selection, while pairwise ordering disagreement rises from 18.5% to 32.6%. A follow-up 2x2 first-response experiment shows that a checkpoint-style protocol increases measured sensitivity in all six backbones by 8.4-29.3 percentage points, whereas action-space effects and their interactions with protocol vary in magnitude and direction across models. These results show that the response interface is part of the measured quantity: judgment and action interfaces share safety signal, but do not provide interchangeable measurements of how safety-relevant facts shape model responses.
• Abstract（参考訳）: 安全性評価はしばしば、モデルがアクションが安全でないことを認識しているかを問うが、エージェント評価はモデルが何をするかを問う。 したがって、安全判断を行動選択の証拠として使うと、測定上の疑問が持ち上がる。 私たちは、この質問を直接テストするマッチしたカウントファクトのベンチマークであるSameFactを紹介します。 SameFactには300のセーフ/アンセーフペアが含まれており、タスク、事前の観察、候補アクション、識別子、およびターゲット外の事実を保持し、単一の状態の安全事実を変更している。 6個のLDMバックボーンにおいて,同一の候補-動作境界における3つのインターフェース(明示的安全性判定,チェックポイント候補入力,オープンファーストアクション選択)による介入の効果を測定した。 全6つのバックボーンは、オープンファーストアクション選択下での集合感度が判定より低いが、この変化は、24のモデルファクター細胞において、スピアマンの合意は、判定とチェックポイントの入力の間の0.817から、判定とオープンファーストアクションの選択の間の0.470に減少する一方、ペアの順序の不一致は18.5%から32.6%に上昇する。 続く2x2のファーストレスポンス実験では、チェックポイントスタイルのプロトコルが6つのバックボーンのすべての感度を8.4～29.3ポイント増加させる一方、アクション空間効果とプロトコルとの相互作用はモデル全体にわたって大きさや方向によって異なる。 これらの結果から, 応答インタフェースは, 安全信号を共有するが, 安全関連事象がモデル応答をどう形作るかを, 相互に測定することができないことがわかった。

関連論文リスト

• Do Frontier Models Seek Safety Evidence Before Acting? [0.0]
  モデルが行動前に安全関連証拠を取得するかどうかを検討する。 モデルが任意のエビデンスでデプロイメント決定を行う,コントロールされたベンチマークであるSAFEを紹介します。 GPT-5.5、o3、Claude Opus 4.8、Claude Sonnet 4.6全体で、明確な証拠取得ポリシーが見つかった。
  論文  参考訳（メタデータ） (2026-09-15T21:45:43Z)
• EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models [3.659020283346239]
  VLM安全性のためのエビデンス基盤フレームワークであるEviSafeを紹介する。 自然なユーザ向け行動、テキストおよび視覚的証拠の明確な根拠、および反事実的変化に対する行動感受性を共同で評価する。 EviSafeBenchは、フレームワークを1,181金の画像テキストシナリオで制御されたベンチマークとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-24T14:32:25Z)
• SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing [21.334890816629237]
  LLMエージェントは、ツールコールを通じて現実世界の環境に作用する。 標準セーフガードは、提案された各アクションをセーフまたはアンセーフとラベル付けするガードモデルであるが、このバイナリビューは2つの異なる決定を混同している。 問題をEXECUTE, ASK, REFUSE に対してインスタンスごとの3方向ルーティング決定として再設定し,Safety Sentry でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-15T08:38:16Z)
• Silent Alarm: A J-Space Protocol for Comparing Danger Recognition Across Models and Quantization Levels [0.0]
  この研究は、ヤコビ空間を通してモデルの内部表現を測定するプロトコルであるJADRを提案する。 すべてのプロンプトとレイヤに対して、トップkのJスペーストークンを記録します。 これらは6つのシナリオ軸にグループ化され、StrongREJECTに基づく危険サンプルと、XSTestとOKTestから引き出された安全なコントロールを比較します。
  論文  参考訳（メタデータ） (2026-07-14T14:08:18Z)
• Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents [73.69976712292681]
  電話使用エージェントが危害を免れた場合、安全を示すか、単に行動できないか? 有害な結果は、エージェントがリスクを認識して安全なアクションを選択したり、スクリーンを理解したり、関連するアクションを全く実行できなかったりすることで回避される。 私たちはPhoneSafetyでこの問題に対処しています。これは130以上のアプリにわたる実際の電話インタラクションから引き出された700の安全クリティカルな瞬間のベンチマークです。
  論文  参考訳（メタデータ） (2026-05-08T11:58:57Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。