論文の概要: Can Vision-Language Models Stay Helpful When Facing Implicit Risks? Intent-Privilege OPSD for Efficient Safety-Helpfulness Alignment

• arxiv url: http://arxiv.org/abs/2609.37837v1
• Date: Tue, 29 Sep 2026 15:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.694225
• Title: Can Vision-Language Models Stay Helpful When Facing Implicit Risks? Intent-Privilege OPSD for Efficient Safety-Helpfulness Alignment
• Title（参考訳）: 暗黙のリスクに直面する場合、視覚言語モデルは役に立ち得るか? : 効果的な安全ヘルパーネスアライメントのためのIntent-Privilege OPSD
• Abstract要約: VLM(Vision-Language Models)は、モデム間の暗黙のリスクに対して脆弱である。 Intent-Privilege On-Policy Self-Distillation (OPSD)を提案する。 OPSDは、教師の反応に対する意図的な好みを、プロンプト毎に1回ずつロールアウトすることで蒸留する。
• 参考スコア（独自算出の注目度）: 39.992117845673754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) remain vulnerable to cross-modal implicit risks: visual and textual inputs that appear benign in isolation can jointly elicit unsafe responses. Existing safety methods often require large preference datasets, costly multi-rollout training, or additional safeguards at inference time. They may also sacrifice helpfulness by directly refusing requests that could be answered safely. In this paper, we propose Intent-Privilege On-Policy Self-Distillation (OPSD), which leverages evidence-grounded intent as privileged supervision during training to help VLMs recognize implicit risks and provide safe, useful responses instead of blanket refusals. OPSD distills a teacher's intent-conditioned preferences over responses into a student using a single rollout per prompt; the student then responds without intent annotations or an additional safety module. With only 1,447 safety-specific examples - 95% fewer than standard preference datasets - OPSD reduces training time by 5x relative to multi-rollout GRPO-style training and average inference length by 7%. It attains the highest ratio for joint safety-helpfulness success, which measures the proportion of responses that are both safe and helpful, across all five evaluation groups. Remarkably, on pooled SIUO+HoliSafe, this success ratio rises from 43.9% to 53.5%. These results show that training-time intent supervision can improve both safety and helpfulness while substantially reducing data, training, and inference costs.
• Abstract（参考訳）: VLM(Vision-Language Models)は、モダクティブな暗黙のリスクに対して脆弱なままである。 既存の安全手法では、大規模な選好データセット、コストのかかる複数ロールアウトトレーニング、あるいは推論時に追加のセーフガードが必要になることが多い。 また、安全に答えられる要求を直接拒否することで、助けを犠牲にすることもある。 本稿では, VLMが暗黙のリスクを認識し, ブランケットの拒絶ではなく, 安全かつ有用な応答を提供するために, 訓練中の特権的監督としてエビデンスを基盤とした自己蒸留(OPSD, Intent-Privilege On-Policy Self-Distillation)を提案する。 OPSDは、教師の意図に条件づけられた嗜好を、1プロンプトごとに1回ロールアウトして学生に与え、学生は意図のアノテーションや追加の安全モジュールなしで応答する。 標準の嗜好データセットよりも95%少ない1,447の安全性専用の例で、OPSDは、マルチロールのGRPOスタイルのトレーニングと平均推論長の5倍のトレーニング時間を削減している。 5つの評価グループの中で、安全かつ有用な応答の割合を計測する共同安全ヘルパーネスの成功率が最も高い。 注目すべきは、プールされたSIUO+HoliSafeでは、この成功率は43.9%から53.5%に上昇する。 これらの結果から,トレーニングタイムの意図管理は,データ,トレーニング,推論コストを大幅に削減しつつ,安全性と有用性の両方を改善することができることがわかった。

関連論文リスト

• Efficient Safety Alignment of Language Models via Latent Personality Traits [3.72609623254254]
  本研究は,66件の無害文に対する対人訓練による明示的調和拒否を代替するLatent Personality Alignment(LPA)を導入する。 LPAは、直接の要求と5つのジェイルブレイクメソッドで、HarmBenchでほぼゼロの攻撃成功率を達成する。 全プロシージャは1つのGPUで数分で完了し、標準のLATよりも75倍少ないサンプルを使用する。
  論文  参考訳（メタデータ） (2026-07-08T21:03:27Z)
• Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation [22.972195366680694]
  安全アライメントは、しばしば推論能力の犠牲で有害なクエリに対する堅牢性を改善する。 OPSAと呼ばれる安全アライメントのための自己蒸留法について検討した。 OPSAは、外部の自己蒸留や外部のティーチンガー蒸留よりも安全性の高いトレードオフを実現している。
  論文  参考訳（メタデータ） (2026-05-14T03:40:07Z)
• The Missing Half: Unveiling Training-time Implicit Safety Risks Beyond Deployment [148.80266237240713]
  暗黙のトレーニング時間安全リスクは、モデルの内部インセンティブとコンテキスト背景情報によって引き起こされる。 5つのリスクレベル、10つのきめ細かいリスクカテゴリ、3つのインセンティブを持つ分類を導入した。 我々の結果は、過度に見過ごされているが、訓練における緊急の安全上の課題を特定します。
  論文  参考訳（メタデータ） (2026-02-04T04:23:58Z)
• Reinforcement Unlearning via Group Relative Policy Optimization [20.66330243194323]
  PURGE(Policy Unlearning through Relative Group Erasure)は、未学習を検証可能な問題として定式化する新しい手法である。 提案手法は,SotA法と比較して目標単位のトークン使用率を最大46倍に削減すると同時に,流速を5.48%向上させる。 リアル・ワールド・ナレッジ・アンラーニング(RWKU)ベンチマークでは、PURGEは11%の非ラーニング効果を達成し、元のユーティリティの98%を保存している。
  論文  参考訳（メタデータ） (2026-01-28T13:07:58Z)
• Learning to Extract Context for Context-Aware LLM Inference [60.376872353918394]
  大型言語モデル(LLM)へのユーザープロンプトは曖昧か不明確であることが多い。 ユーザの意図、事前知識、リスク要因によって形成されるコンテキスト的手がかりは、適切な応答を構成するものに影響を与える。 本稿では,ユーザプロンプト自体からコンテキスト情報を抽出し,活用するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-12T19:10:08Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Personalized Safety in LLMs: A Benchmark and A Planning-Based Agent Approach [31.925448597093407]
  大規模言語モデル(LLM)は、通常、同じプロンプトを与えられたすべてのユーザに対して、同一または類似の応答を生成する。 PENGUINは、7つのセンシティブなドメインにわたる14,000のシナリオからなるベンチマークである。 RAISEはトレーニングなし、2段階のエージェントフレームワークで、ユーザ固有のバックグラウンドを戦略的に取得する。
  論文  参考訳（メタデータ） (2025-05-24T21:37:10Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。