論文の概要: Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation
- arxiv url: http://arxiv.org/abs/2606.05290v1
- Date: Wed, 03 Jun 2026 18:00:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.314373
- Title: Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation
- Title(参考訳): モデルは安全表現を共有しているか? 安全な視覚生成のためのクロスモデルステアリング
- Abstract要約: クロスモデル安全ステアリングのための最初のフレームワークを紹介する。
私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。
多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
- 参考スコア(独自算出の注目度): 52.122731171289665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in generative modeling has made safety control a central challenge, yet existing approaches remain largely model-specific, requiring retraining or tailored interventions for each new architecture. In this work, we ask whether safety can be represented as a portable latent direction, learned once and reused across heterogeneous generators. We introduce the first framework for cross-model safety steering, in which a safety direction is estimated in a source LLM from paired safe-unsafe prompts, transported to a target generator through a lightweight alignment fitted on benign data alone, and applied at inference time. Crucially, our pipeline never accesses unsafe data on the target side, isolating whether safety can be transferred through shared representation geometry. Beyond a single global direction, we also identify a multi-vector extension that captures category-specific safety behaviors, enabling more selective control. We evaluate our approach in text-to-image and text-to-video generation across diverse source-target model pairs. Across models, transferred safety directions achieve ASR reduction and CLIP-Score/FID trade-offs comparable to directions learned natively on the target model using unsafe data, while requiring no target-side unsafe data. This indicates that safety improvements do not come at the expense of generation quality. Our results point to a modular view of safety: safety-relevant behavior is not purely model-local, but can be controlled through latent directions that persist across models. This suggests a new path toward lightweight, reusable safety mechanisms that do not require target-side unsafe data.
- Abstract(参考訳): 生成モデリングの最近の進歩により、安全制御は中心的な課題となっているが、既存のアプローチはモデル固有のものであり、新しいアーキテクチャごとに再訓練または調整された介入を必要とする。
本研究では、安全を携帯型潜伏方向として表現し、一度学習し、異種発電機間で再利用できるかどうかを問う。
本稿では,2組の安全でないプロンプトからソースLSM内の安全方向を推定し,良性データのみに装着した軽量アライメントを介してターゲットジェネレータに搬送し,推論時に適用する,クロスモデル安全ステアリングのための第1のフレームワークを紹介する。
重要なことは、パイプラインはターゲット側の安全でないデータにアクセスせず、共有表現幾何学を通して安全性を転送できるかどうかを分離する。
単一のグローバルな方向を超えて、カテゴリ固有の安全行動をキャプチャし、より選択的制御を可能にするマルチベクター拡張も特定する。
多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
モデル全体で、転送された安全方向は、ターゲット側の安全でないデータを必要とせず、ターゲットモデル上でネイティブに学習された方向と同等のASR削減とCLIP-Score/FIDトレードオフを実現する。
これは、安全改善が世代品質を犠牲にしないことを示している。
安全関連行動は純粋にモデル局所的ではなく、モデル全体にわたって持続する潜在方向を通して制御することができる。
これは、ターゲット側の安全でないデータを必要としない軽量で再利用可能な安全メカニズムへの新たな道のりを示唆している。
関連論文リスト
- SafeRI: Recognition and Intervention for Token-Level Safety Intervention in Large Vision Language Models [46.33456413143737]
本稿では,本質的なVLM安全性を実現するために,ストリーミング認識とゲート付きLoRAフレームワークを提案する。
LoRAモジュールは、安全でないプレフィックス、トランジションステートメント、安全な継続からトレーニングされ、アクティベーション後の安全な応答に安全でない世代をリダイレクトする。
論文 参考訳(メタデータ) (2026-09-03T08:43:07Z) - Safe Vision Language Action Models via Barrier Enhanced Flow Matching [0.0]
本稿では,フローマッチング生成モデルと公式な制御バリア関数の安全性を保証するモジュール型推論フレームワークを提案する。
滑らかなLog-Sum-Exponentialアグリゲーションバリアを利用することで、アクションチャンク全体の安全性を強制する。
2つのロボット操作プラットフォームと2次元ナビゲーションベンチマークによるアプローチの検証を行い、モデルの成功率を低下させることなく、信頼性の高い安全性を実現することを検証する。
論文 参考訳(メタデータ) (2026-07-31T15:56:19Z) - SafeGene: Reusable Adapters for Transferable Safety Alignment [31.247158830484604]
マルチタスク再利用のための再利用可能な安全適応モジュールであるSafeGeneを提案する。
セーフジェネレーション強化モデルでは、下流性能を維持しながら、有害応答率を低減できることが示されている。
論文 参考訳(メタデータ) (2026-06-02T14:51:14Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳(メタデータ) (2026-05-14T12:13:08Z) - SecureBreak -- A dataset towards safe and secure models [3.797867929356259]
本稿では、有害なLCM出力を検出するAI駆動型ソリューションの開発を支援するために設計された安全指向データセットSecureBreakを紹介する。
このデータセットは、安全を確保するためにラベルを保守的に割り当てる、注意深い手動アノテーションのため、非常に信頼性が高い。
トレーニング済みLLM試験ではSecureBreakを微調整した結果が改善された。
論文 参考訳(メタデータ) (2026-03-23T13:41:05Z) - Safe Transformer: An Explicit Safety Bit For Interpretable And Controllable Alignment [41.47485992177247]
我々は,事前学習型言語モデルを拡張するモジュール型アプローチであるSafe Transformerを提案する。
安全ビットは、モデルの安全分類の解釈可能な信号と制御可能なスイッチの両方として機能する。
赤チームのベンチマークでは、Safe Transformerがほぼゼロのアタック成功率を達成する。
論文 参考訳(メタデータ) (2026-03-06T02:54:16Z) - Safety-Guided Flow (SGF): A Unified Framework for Negative Guidance in Safe Generation [2.5489046505746704]
本稿では,画像生成タスクに対する最大平均離散性(MMD)ポテンシャルを用いた統一確率的フレームワークを提案する。
我々は制御バリア関数解析を利用して、負のガイダンスが強くなければならない臨界時間窓の存在を正当化する。
我々は,いくつかの現実的な安全な生成シナリオにおいて,統合されたフレームワークを評価し,否定的なガイダンスがデノナイジングプロセスの初期段階で適用されるべきであることを確認した。
論文 参考訳(メタデータ) (2026-03-02T07:31:29Z) - UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models [67.91151588917396]
大規模言語モデル(LLM)は、幅広いタスクで顕著な進歩を遂げているが、有害なコンテンツ生成やジェイルブレイク攻撃といった安全リスクに弱いままである。
安全に配慮したリサイクルによるLCMの安全性向上のための統合フレームワークであるUpSafe$circ$Cを提案する。
この結果から, 静的アライメントから動的, モジュール, 推論対応制御への移行という, LLMの安全性の新たな方向性が明らかになった。
論文 参考訳(メタデータ) (2025-10-02T16:43:33Z) - Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。
動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。
STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文 参考訳(メタデータ) (2025-05-22T18:05:16Z) - What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。
安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。
これを用いて,3つのよく知られた安全微調整手法について検討する。
論文 参考訳(メタデータ) (2024-07-14T16:12:57Z) - Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。
DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
論文 参考訳(メタデータ) (2024-07-12T09:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。