論文の概要: Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

• arxiv url: http://arxiv.org/abs/2606.27210v1
• Date: Thu, 25 Jun 2026 16:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.340325
• Title: Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes
• Title（参考訳）: 真のインテントによる舗装: インテント・アウェア・トレーニングは、トレーニングレギュレーション全体にわたってLLMの安全性を向上する
• Abstract要約: 我々は1,724個の困難な安全プロンプトを人間に注釈付けしたデータセットであるAIMSを紹介する。 我々はAIMSを用いて、教師付き微調整、嗜好学習、推論蒸留、強化学習における意図認識トレーニングを評価する。
• 参考スコア（独自算出の注目度）: 5.493750878637108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We argue that safety classifiers should model user intent as an explicit signal between the prompt and the final label. To study this, we introduce AIMS, a human-annotated dataset of 1,724 difficult safety prompts, each paired with an intent description and harm label. We use AIMS to evaluate intent-aware training across supervised fine-tuning, preference learning, reasoning distillation, and reinforcement learning. Despite its size, AIMS enables competitive safety classifiers across training regimes: DPO from model-generated intent errors improves over SFT, and intent-conditioned distillation outperforms reasoning-only distillation in most teacher-student pairs. Most notably, directly rewarding intent faithfulness with GRPO yields the strongest average performance across five external safety benchmarks, while our intent-aware models form the inference latency-F1 Pareto frontier. These results show that faithful intent modeling is a compact, high-quality supervision signal for more robust safety classifiers.
• Abstract（参考訳）: 安全分類器は、ユーザー意図をプロンプトと最終ラベルの間の明示的な信号としてモデル化すべきである。 これを研究するために,人間による1,724個の安全なプロンプトのアノテートデータセットであるAIMSを紹介した。 我々はAIMSを用いて、教師付き微調整、嗜好学習、推論蒸留、強化学習における意図認識トレーニングを評価する。 モデル生成意図の誤りによるDPOは、SFTよりも改善され、意図条件の蒸留は、ほとんどの教師と学生のペアで推論のみの蒸留よりも優れている。 最も注目すべきは、GRPOによるインテント忠実性に直接報いることは、5つの外部安全ベンチマークでもっとも高い平均パフォーマンスをもたらす一方で、インテント認識モデルは推論レイテンシー-F1 Paretoフロンティアを形成します。 これらの結果は、忠実な意図モデリングはより堅牢な安全分類器のためのコンパクトで高品質な監視信号であることを示している。

関連論文リスト

• DT-Guard: Intent-Driven Reasoning-Active Training for Reasoning-Free LLM Safety Guardrail [19.59614205209542]
  本稿では、Reasoning-Active Training, Reasoning-Free Inferenceパラダイムに基づくコンテンツ安全ガードレールモデルDT-Guardを提案する。 鍵となる考え方は、推論時にのみ構造化された安全ラベルを出力しながら、トレーニング中に推論監督を使用することである。
  論文  参考訳（メタデータ） (2026-07-07T14:25:05Z)
• Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation [22.972195366680694]
  安全アライメントは、しばしば推論能力の犠牲で有害なクエリに対する堅牢性を改善する。 OPSAと呼ばれる安全アライメントのための自己蒸留法について検討した。 OPSAは、外部の自己蒸留や外部のティーチンガー蒸留よりも安全性の高いトレードオフを実現している。
  論文  参考訳（メタデータ） (2026-05-14T03:40:07Z)
• Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use [6.622648583261088]
  エージェント言語モデルは、単一のミスステップが不可逆的な害を引き起こす可能性のあるロングホライゾンアクションを計画、呼び出し、実行しなければなりません。 安全判断を明確化し,学習可能にすることで,エージェントを安全なマルチステップツール使用に整合させるフレームワークであるMOSAICを紹介する。 以上の結果から,MOSAICは有害行為を最大50%減らし,インジェクション攻撃で20%以上減らし,プライバシリークを減らし,良質なタスク性能を保ち,改善することを示した。
  論文  参考訳（メタデータ） (2026-03-03T17:59:35Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• GuardFed: A Trustworthy Federated Learning Framework Against Dual-Facet Attacks [56.983319121358555]
  フェデレートラーニング(FL)は、プライバシ保護のための協調モデルトレーニングを可能にするが、敵の行動に弱いままである。 本稿では,予測精度とグループフェアネスを同時に損なう新たな脅威モデルであるデュアル顔攻撃(DFA)を紹介する。 本稿では,少量のクリーンサーバデータを用いて,公正な参照モデルを維持する自己適応型防衛フレームワークであるGuardFedを提案する。
  論文  参考訳（メタデータ） (2025-11-12T13:02:45Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models [94.39278422567955]
  人間の嗜好を微調整した大型言語モデル(LLM)は、その能力向上に成功している。 しかし、微調整中のLLMの安全性確保は依然として重要な懸念事項である。 本稿では,BFPO(Bi-Factorial Preference Optimization)と呼ばれる教師あり学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T17:31:21Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• FAT: Federated Adversarial Training [5.287156503763459]
  フェデレートラーニング(FL)は、機械学習(ML)におけるプライバシとデータガバナンスの問題に対処する最も重要なパラダイムの1つである。 我々は、トレーニング中のデータのプライバシを保ちながら、推論中の回避の脅威を軽減するために、両方の手法を組み合わせて、連合敵訓練(FAT)への第一歩を踏み出した。
  論文  参考訳（メタデータ） (2020-12-03T09:47:47Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。