論文の概要: Data-Efficient LLM Safety Alignment Guided by Interpretable Features
- arxiv url: http://arxiv.org/abs/2611.16183v1
- Date: Thu, 12 Nov 2026 02:15:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.301248
- Title: Data-Efficient LLM Safety Alignment Guided by Interpretable Features
- Title(参考訳): データ効率の良いLCM安全アライメントの解釈的特徴による導出
- Abstract要約: Safer (LIS) は安全アライメントのためのコンパクトで高効率なデータセットである。
LISは2.4Kのサンプルしか含まないが、はるかに大きなデータセットより優れている。
- 参考スコア(独自算出の注目度): 8.98817121352317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing large language models typically rely on massive fine-tuning datasets for safety alignment, which results in higher costs for safety alignment and often leads to the problem of over-refusal. We propose Less is Safer (LIS), a compact yet highly effective dataset for safety alignment, constructed through interpretable feature-guided selection and adversarial synthesis. Specifically, we leverage Sparse Autoencoder (SAE) activations to efficiently select prompts that cover diverse and interpretable safety features. Then, we employ a multi-agent adversarial synthesis framework to generate harmless prompts that nevertheless elicit unnecessary refusals. LIS contains only 2.4K samples, yet outperforms much larger datasets, e.g., TRIDENT-Core (26K), TRIDENT-Edge (19K) and WildJailbreak (262K), in overall performance on four safety and five over-refusal benchmarks. Through ablation experiments, we demonstrate that neither safety data nor over-refusal data alone can achieve optimal results. We also used safety features from SAE, annotated by an LLM, for data filtering, but the results were inferior to those obtained using the pipeline proposed in this paper.
- Abstract(参考訳): 既存の大規模言語モデルは、安全アライメントのための大規模な微調整データセットに依存しており、それによって安全性アライメントのコストが高くなり、しばしば過剰な拒絶の問題につながる。
安全アライメントのためのコンパクトで高効率なデータセットであるLess Is Safer (LIS)を提案する。
具体的には、スパースオートエンコーダ(SAE)のアクティベーションを活用し、多様な安全機能をカバーするプロンプトを効率的に選択する。
そこで我々は,無害なプロンプトを生成するために,多エージェント逆合成フレームワークを用いた。
LISには2.4Kのサンプルしか含まれていないが、もっと大きなデータセット、例えば、TRIDENT-Core (26K)、TRIDENT-Edge (19K)、WildJailbreak (262K)で、全体のパフォーマンスは4つの安全性と5つのオーバーリフレクションベンチマークで上回っている。
アブレーション実験により,安全データと過度に拒否されるデータだけでは最適な結果が得られないことが実証された。
また, LLMでアノテートしたSAEの安全性特性をデータフィルタリングに用いた。
関連論文リスト
- SafeAtlas-VL: Beyond Binary Multimodal Safety with Large-Scale Data and Guard Models [73.04773649437375]
マルチモーダル・セーフティ・モデレーションは、視覚的コンテンツ、ユーザ意図、およびアシスタント行動から生じるリスクを区別する必要がある。
SafeAtlas-VLは、1.5Mのトレーニングインスタンスのデータセットで、画像、要求レベル、応答レベルを5段階の順序で判定する。
SafeAtlas-Benchは5段階の予測と継続的なリスクスコアを評価するための5000のインスタンスである。
論文 参考訳(メタデータ) (2026-08-29T07:08:01Z) - DataRx: Missingness-Aware Sampling for Safer Large Language Model Task-Specific Fine-Tuning [23.890337519636986]
タスク固有の微調整は、整列した大きな言語モデルの安全ガードレールを弱める可能性がある。
本稿では,安全性に問題のあるサンプルを選択するための,欠落を意識したサンプリング手法であるDataRxを提案する。
論文 参考訳(メタデータ) (2026-08-05T01:05:13Z) - DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning [21.57697098714205]
大きな言語モデル(LLM)は、良質なデータセットを微調整しても、安全性の低下に悩まされる。
良質なデータセットの安全性劣化サンプルを同定する既存の方法は、高い計算コストと重大なノイズの問題に悩まされている。
我々は,安全性劣化の可能性のあるサンプルを効率的かつ効果的に同定するために,DataShieldを提案する。
論文 参考訳(メタデータ) (2026-05-29T09:04:27Z) - Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。
本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
論文 参考訳(メタデータ) (2026-03-31T23:19:50Z) - When Safe Unimodal Inputs Collide: Optimizing Reasoning Chains for Cross-Modal Safety in Multimodal Large Language Models [50.66979825532277]
我々は、クロスモーダルチャレンジに適した解釈可能な推論パスを備えた最初のデータセットであるSSUI(Safe-Semantics-but-Unsafe-Interpretation)を紹介した。
新たなトレーニングフレームワークであるSRPO(Safety-Aware Reasoning Path Optimization)も、SSUIデータセットに基づいて設計されている。
実験の結果, SRPO学習モデルでは, キーセーフティベンチマークで最先端の結果が得られた。
論文 参考訳(メタデータ) (2025-09-15T15:40:58Z) - Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。
安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。
複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
論文 参考訳(メタデータ) (2025-08-17T23:46:36Z) - UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。
我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。
UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
論文 参考訳(メタデータ) (2025-07-29T10:08:52Z) - USB: A Comprehensive and Unified Safety Evaluation Benchmark for Multimodal Large Language Models [31.412080488801507]
Unified Safety Benchmarks (USB) はMLLMの安全性において最も包括的な評価ベンチマークの一つである。
我々のベンチマークでは、高品質なクエリ、広範囲なリスクカテゴリ、包括的なモーダルの組み合わせ、脆弱性と過度な評価の両方が特徴である。
論文 参考訳(メタデータ) (2025-05-26T08:39:14Z) - Safety-Aware Fine-Tuning of Large Language Models [29.5636201427693]
細調整された大規模言語モデル(LLM)は、個々のニーズや好みに合わせてモデルを調整するための一般的なプラクティスとして現れています。
本稿では,有害な可能性のあるデータを自動検出・除去する,新たなSAFT(Safety-Aware Fine-Tuning)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-13T21:24:25Z) - PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference [14.530969790956242]
PKU-SafeRLHFデータセットは、大規模言語モデル(LLM)における安全性アライメントの研究を促進するために設計された。
SafeRLHF と BeaverTails の兄弟プロジェクトとして,質問応答ペアに対する有用性と無害性のアノテーションを分離する。
全体として、44.6kの精巧なプロンプトと、265kの質問応答ペアに、安全メタラベルを19の有害カテゴリーと3つの重度レベルを付与する。
論文 参考訳(メタデータ) (2024-06-20T18:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。