論文の概要: SafeCoT: Improving VLM Safety with Minimal Reasoning

• arxiv url: http://arxiv.org/abs/2506.08399v1
• Date: Tue, 10 Jun 2025 03:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.274658
• Title: SafeCoT: Improving VLM Safety with Minimal Reasoning
• Title（参考訳）: SafeCoT:最小推論でVLMの安全性を向上
• Authors: Jiachen Ma, Zhanhui Zhou, Chao Yang, Chaochao Lu,
• Abstract要約: 我々は、視覚言語モデルにおける拒絶動作を改善する軽量で解釈可能なフレームワークであるSafeCoTを紹介する。 SafeCoTは,訓練データに制限がある場合でも,過度な拒絶と一般化を著しく低減することを示す。
• 参考スコア（独自算出の注目度）: 5.452721786714111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring safe and appropriate responses from vision-language models (VLMs) remains a critical challenge, particularly in high-risk or ambiguous scenarios. We introduce SafeCoT, a lightweight, interpretable framework that leverages rule-based chain-of-thought (CoT) supervision to improve refusal behavior in VLMs. Unlike prior methods that rely on large-scale safety annotations or complex modeling, SafeCoT uses minimal supervision to help models reason about safety risks and make context-aware refusals. Experiments across multiple benchmarks show that SafeCoT significantly reduces overrefusal and enhances generalization, even with limited training data. Our approach offers a scalable solution for aligning VLMs with safety-critical objectives.
• Abstract（参考訳）: 視覚言語モデル(VLM)からの安全かつ適切な応答を保証することは、特にリスクの高いシナリオや曖昧なシナリオにおいて重要な課題である。 我々は,ルールベースのチェーン・オブ・シント(CoT)の監督を利用して,VLMの拒絶動作を改善する軽量で解釈可能なフレームワークであるSafeCoTを紹介する。 大規模な安全アノテーションや複雑なモデリングに依存する従来の方法とは異なり、SafeCoTは最小限の監視を使用して、モデルが安全性のリスクを判断し、コンテキスト対応の拒絶を行うのを助ける。 複数のベンチマークでの実験によると、SafeCoTはトレーニングデータに制限がある場合でも、過剰な拒絶を著しく低減し、一般化を促進する。 我々のアプローチは、VLMを安全クリティカルな目標と整合させるスケーラブルなソリューションを提供する。

関連論文リスト

• HoliSafe: Holistic Safety Benchmarking and Modeling with Safety Meta Token for Vision-Language Model [52.72318433518926]
  既存の安全チューニングデータセットとベンチマークは、画像とテキストの相互作用が有害なコンテンツを生み出す方法を部分的に考慮しているだけである。 私たちは、安全で安全でない5つの画像とテキストの組み合わせにまたがる、全体安全データセットとベンチマークであるHoliSafeを紹介します。 我々は,学習可能な安全メタトークンと専用の安全ヘッドを備えた新しいVLMであるSafeLLaVAを提案する。
  論文  参考訳（メタデータ） (2025-06-05T07:26:34Z)
• SafeSteer: Interpretable Safety Steering with Refusal-Evasion in LLMs [7.120986296945107]
  本稿では,大規模言語モデル(LLM)の出力を誘導するSafeSteerという手法について検討する。 テキストの品質,トピックの関連性,明示的な拒絶を保ちながら,安全ステアリングを高めるために,簡単な,勾配のない教師なしの手法を用いている。
  論文  参考訳（メタデータ） (2025-06-01T01:19:37Z)
• Shape it Up! Restoring LLM Safety during Finetuning [66.46166656543761]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
  大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。 キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:46:03Z)
• VLMGuard-R1: Proactive Safety Alignment for VLMs via Reasoning-Driven Prompt Optimization [29.192704030072516]
  VLMGuard-R1は、ユーザ入力を推論誘導リライタによって洗練するプロアクティブフレームワークである。 VLMGuard-R1はSIUOベンチマークで5つのモデルの平均安全性を43.59%向上させた。
  論文  参考訳（メタデータ） (2025-04-17T05:46:41Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。