論文の概要: SafeDepth: Safety-Aware Token-Level Adaptive Computation

• arxiv url: http://arxiv.org/abs/2610.00815v1
• Date: Wed, 30 Sep 2026 23:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.801385
• Title: SafeDepth: Safety-Aware Token-Level Adaptive Computation
• Title（参考訳）: SafeDepth:安全に配慮したToken-Level Adaptive Computation
• Abstract要約: 既存のトークンレベルの適応推論モデルは、基準バックボーンよりも有害応答率が高い。 SafeDepthは、選択的層実行を使用して安全と効率の両方を改善する軽量なプラグインフレームワークです。
• 参考スコア（独自算出の注目度）: 1.3865212803228024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies suggest that not every token needs to pass through all Transformer layers, motivating token-level adaptive models that selectively skip layers to reduce computation. Our experiments show that these execution choices also affect safety: existing token-level adaptive reasoning models exhibit higher harmful-response rates than their reference backbones. The safety effects depend on which layers are skipped and whether skipping occurs during prompt processing or answer generation. We further find that recognizing harmful requests and producing refusals depend on different layer-wise computations. We introduce SafeDepth, a lightweight, plug-in framework that uses selective layer execution to improve both safety and efficiency. SafeDepth learns to retain computations that support safe responses and bypass those that contribute to unsafe generation. A router selects layer execution based on token representations, layer position, and inference phase, while an adapter supports the skipped paths. We jointly train these modules to reduce computation and harmful responses while preserving performance on benign tasks, targeting a better safety-efficiency trade-off. The pretrained backbone remains frozen throughout, requiring no additional pretraining. Experimental results on Llama-3-8B-Instruct show that SafeDepth reduces computation relative to full-depth inference while largely preserving task performance. Compared with FlexiDepth, it lowers unsafe-response rates across all five harmful-request benchmarks, with the largest absolute decrease on HarmBench-HJ (from 55.44% to 25.25%), while reducing the XSTest false-refusal rate from 12.0% to 4.0%.
• Abstract（参考訳）: 最近の研究では、全てのトークンがトランスフォーマーのすべての層を通過する必要はないことが示唆されており、計算を減らすために層を選択的にスキップするトークンレベルの適応モデルを動機付けている。 既存のトークンレベルの適応推論モデルは、基準バックボーンよりも有害応答率が高い。 安全効果は、どの層がスキップされたか、即時処理や応答生成中にスキップが発生するかによって異なる。 さらに、有害な要求を認識し、拒絶を発生させることは、異なるレイヤワイズ計算に依存することが判明した。 SafeDepthは、選択的層実行を使用して安全と効率の両方を改善する軽量なプラグインフレームワークです。 SafeDepthは、安全な応答をサポートし、安全でない生成に寄与するものをバイパスする計算を維持することを学ぶ。 ルータはトークン表現、レイヤ位置、推論フェーズに基づいて層実行を選択し、アダプタはスキップパスをサポートする。 我々はこれらのモジュールを共同でトレーニングし、計算と有害な応答を低減しつつ、良質なタスクのパフォーマンスを保ち、より優れた安全性と効率のトレードオフを目標としています。 事前訓練された後骨は凍結し続けており、追加の事前訓練は不要である。 Llama-3-8B-Instructの実験結果から,SafeDepthはタスク性能を保ちながら,全深度推論に対する計算を削減できることがわかった。 FlexiDepthと比較すると、有害な5つのベンチマークすべてに対して安全応答率を低下させ、HarmBench-HJ(55.44%から25.25%まで)では最大で、XSTestの偽応答率を12.0%から4.0%に下げる。

関連論文リスト

• SafeAtlas-VL: Beyond Binary Multimodal Safety with Large-Scale Data and Guard Models [73.04773649437375]
  マルチモーダル・セーフティ・モデレーションは、視覚的コンテンツ、ユーザ意図、およびアシスタント行動から生じるリスクを区別する必要がある。 SafeAtlas-VLは、1.5Mのトレーニングインスタンスのデータセットで、画像、要求レベル、応答レベルを5段階の順序で判定する。 SafeAtlas-Benchは5段階の予測と継続的なリスクスコアを評価するための5000のインスタンスである。
  論文  参考訳（メタデータ） (2026-08-29T07:08:01Z)
• NeuronFuzz: Safety Neuron Guided Fuzzing for LLM Safety Evaluation [8.994542764059767]
  大規模言語モデル(LLM)がジェイルブレイク攻撃に対して堅牢であるかどうかを評価するためには、安全性評価が重要である。 本稿では、内部安全ニューロンを連続的な実行フィードバックとして活用するホワイトボックスファジリングフレームワークであるNeuronFuzzを提案する。 76-100%のジェイルブレイク発見率を達成し、ベースラインを最大48ポイント上回っている。
  論文  参考訳（メタデータ） (2026-08-26T12:44:32Z)
• HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models [65.08794811632073]
  HyperSafeは、細調整されたチェックポイント毎にモデル固有のSafe Side Networkを生成することで、安全性の挙動を復元する。 モデル群であるQwen2-7BとLLaMA-3-8Bを複数の安全性ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-07-13T12:28:43Z)
• SafeHarness: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment [19.947119280467934]
  セーフハーネス(Safeharness)は、4つの防衛レイヤがエージェントライフサイクルに直接織られるセキュリティアーキテクチャである。 ベンチマークデータセットの安全性を、多様なハーネス構成で評価する。
  論文  参考訳（メタデータ） (2026-04-15T08:59:00Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
  さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。 我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。 UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-07-29T10:08:52Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。