論文の概要: Understanding Annotator Safety Policy with Interpretability

• arxiv url: http://arxiv.org/abs/2605.05329v1
• Date: Wed, 06 May 2026 18:01:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.356895
• Title: Understanding Annotator Safety Policy with Interpretability
• Title（参考訳）: 解釈可能性によるアノテータの安全性政策の理解
• Abstract要約: アノテーションの不一致は広範に存在し、運用上の失敗、ポリシーの曖昧さ、価値の多元性など、複数のソースから生じる可能性がある。 本稿では,アノテータの内部安全ポリシーをラベル付け行動のみから学習する解釈可能なモデルであるアノテータポリシーモデル(APM)を紹介する。 APMは、アノテータの安全性ポリシー(80%以上)を正確にモデル化し、偽造編集に対する応答を忠実に予測し、制御された設定における既知のポリシーの違いを復元する。
• 参考スコア（独自算出の注目度）: 27.006113029962382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety policies define what constitutes safe and unsafe AI outputs, guiding data annotation and model development. However, annotation disagreement is pervasive and can stem from multiple sources such as operational failures (annotators misunderstand or misexecute the task), policy ambiguity (policy wording leaves room for interpretation), or value pluralism (different annotators hold different perspectives on safety). Distinguishing these sources matters. For example, operational failures call for quality control, ambiguity calls for policy clarification, and pluralism calls for deliberation about incorporating diverse perspectives. Yet understanding why annotators disagree is difficult. Directly asking annotators for their reasoning is costly, substantially increasing annotation burden, and can be unreliable for both human and LLM annotators as self-reported reasoning often fails to reflect actual decision processes. We introduce Annotator Policy Models (APMs), interpretable models that learn annotators' internal safety policies from labeling behavior alone, making annotator reasoning visible and comparable without additional annotation effort. We validate that APMs accurately model annotator safety policy (>80% accuracy), faithfully predict responses to counterfactual edits, and recover known policy differences in controlled settings. Applying APMs to LLM and human annotations, we demonstrate two core applications: (1) surfacing policy ambiguity by revealing how annotators interpret safety instructions differently, and (2) surfacing value pluralism by uncovering systematic differences in safety priorities across demographic groups. Together, these capabilities support more targeted, transparent, and inclusive safety policy design.
• Abstract（参考訳）: 安全ポリシーは、安全で安全でないAI出力を構成するものを定義し、データアノテーションとモデル開発を導く。 しかし、アノテーションの不一致は広範に存在し、運用上の失敗(注釈者がタスクを誤解したり、誤った実行)、政策の曖昧さ(政治用語で解釈する余地がある)、価値の多元性(異なる注釈者は安全性について異なる視点を持っている)など、複数の情報源から生じる可能性がある。 これらの資料の廃止は重要である。 例えば、運用上の失敗は品質管理、あいまいさは政策の明確化、多元主義は多様な視点を取り入れた検討を要求する。 しかし、なぜアノテーションが一致しないのかを理解することは難しい。 直接アノテータに推論を求めるのはコストがかかり、アノテーションの負担が大幅に増加し、自己申告された推論が実際の決定プロセスの反映に失敗するので、人間とLLMアノテータの両方にとって信頼できない。 本稿では,アノテータポリシーモデル(APM)を導入し,アノテータの内部安全ポリシーを,アノテータの行動のみをラベル付けすることから学習する解釈モデルを紹介した。 APMは、アノテータの安全性ポリシー(80%以上)を正確にモデル化し、偽造編集に対する応答を忠実に予測し、制御された設定における既知のポリシーの違いを復元する。 1)アノテータがいかに安全性の指示を異なる方法で解釈するかを明らかにすることで、ポリシーの曖昧さを克服し、(2)アノテータが集団間で安全性の優先順位の体系的な違いを明らかにすることによって、価値の多元性を明らかにする。 これらの機能は、より標的的で透明で包括的な安全ポリシー設計をサポートする。

関連論文リスト

• Policy Loopholes in Agent Evaluation: When Policy Ambiguity Masquerades as Agent Error [2.0305676256390934]
  ベンチマーク開発者は、金のアノテーションを集める前にポリシーを監査する必要がある。 ドメイン間の比較によって、エクスプロイラビリティはポリシーの曖昧さとツールの許容性の両方を必要とすることが明らかになった。
  論文  参考訳（メタデータ） (2026-09-13T10:00:13Z)
• Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
  本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。 AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。 標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
  論文  参考訳（メタデータ） (2026-09-05T13:45:09Z)
• Adversarial Pragmatics for AI Safety Evaluation: A Benchmark for Instruction Conflict, Embedded Commands, and Policy Ambiguity [0.0]
  本稿では,命令コンフリクト,組込みコマンド,引用,スコープあいまいさ,ディクシス,間接的音声行為,マルチターンエージェントの書き起こしに基づくモデル行動評価のベンチマークとして,逆数プラグマティクスを提案する。 この貢献は、言語的に制御された分類学、バリデーション強化されたメタデータを備えた18項目のシードベンチマーク、54行のローカルシードパイロット、タスクの成功、ポリシーコンプライアンス、安全リスク、拒絶された結果、評価者の信頼を区別する専門家評価プロトコル、そして妥当性、診断の曖昧さ、分類のドリフトを判定するためのメトリクスである。
  論文  参考訳（メタデータ） (2026-07-01T16:33:14Z)
• PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
  PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。 PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
  論文  参考訳（メタデータ） (2026-04-16T20:29:30Z)
• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety [59.01189713115365]
  本研究は, 広範囲な安全コードを明確に指定することによる影響を, 図示的事例を通して示すことよりも評価する。 明示的なコードを参照することで、無害性が向上し、系統的に有用性が低下することがわかった。 自己生成型安全推論チェーンの強化学習を利用したLLMのケース拡張型検討アライメント手法であるCADAを提案する。
  論文  参考訳（メタデータ） (2026-01-12T21:08:46Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• Evaluating Language Model Reasoning about Confidential Information [95.64687778185703]
  言語モデルが文脈的堅牢性を示すか、文脈依存型安全仕様に準拠する能力を示すかを検討する。 我々は,ユーザ要求がいつ承認されたか,言語モデルが正しく判断できるかどうかを測定するベンチマーク(PasswordEval)を開発した。 現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。
  論文  参考訳（メタデータ） (2025-08-27T15:39:46Z)
• Seeing the Threat: Vulnerabilities in Vision-Language Models to Adversarial Attack [7.988475248750045]
  LVLM(Large Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な機能を示す。 従来の敵攻撃がLVLMに埋め込まれた安全機構を回避できる理由を明らかにするために,系統的な表現解析を行う。 LVLMに対する敵攻撃のための2段階評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-28T04:43:39Z)
• SAGE: A Generic Framework for LLM Safety Evaluation [7.5058318880108885]
  SAGE(Safety AI Generic Evaluation)は、カスタマイズおよび動的害評価のための自動モジュール化フレームワークである。 我々は3つのアプリケーションにまたがる7つの最先端の大規模言語モデルと有害ポリシーを評価した。 結果は、より安全な現実世界のデプロイメントのための適応性、ポリシー対応、コンテキスト固有のテストに動機付けます。
  論文  参考訳（メタデータ） (2025-04-28T11:01:08Z)
• Decoding Safety Feedback from Diverse Raters: A Data-driven Lens on Responsiveness to Severity [27.898678946802438]
  本稿では,複数のデータセットの粒度評価を解釈するための新しいデータ駆動型手法を提案する。 安全違反の度合いの異なるレベルを評価する際に,レーダの整合性を定量化する非パラメトリック応答性指標を蒸留する。 提案手法は,異なる階層群をまたいだニュアンスな視点を捉えることで,レーダの選択やフィードバックの解釈に役立てることができることを示す。
  論文  参考訳（メタデータ） (2025-03-07T17:32:31Z)
• Deliberative Alignment: Reasoning Enables Safer Language Models [64.60765108418062]
  モデルセーフティ仕様を教える新しいパラダイムであるDeliberative Alignmentを紹介します。 このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。
  論文  参考訳（メタデータ） (2024-12-20T21:00:11Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。