論文の概要: ForeSight: Enhancing Risk Monitoring via Early Safety Signal Distillation

• arxiv url: http://arxiv.org/abs/2609.13737v1
• Date: Sat, 12 Sep 2026 06:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.489689
• Title: ForeSight: Enhancing Risk Monitoring via Early Safety Signal Distillation
• Title（参考訳）: 早期安全信号蒸留によるリスクモニタリングの強化
• Abstract要約: ForeSightは、第一級のアウトプットリスク予測フレームワークである。 弱くて冗長な早期安全信号を、コンパクトで層認識のリスク表現に蒸留する。
• 参考スコア（独自算出の注目度）: 16.209377275700568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly deployed, the generation of harmful content has become a critical safety concern. Existing safeguards operate at the input, output, or streaming-generation stages, while early-risk methods that rely on surface tokens or output logits may suffer from weak initial signals, and internals-based detectors using dense representations may retain highly entangled and redundant safety-irrelevant information. It therefore remains unclear whether the earliest post-generation hidden states already contain reliable signals about final-response harmfulness. To address this gap, we propose ForeSight, a first-token output-risk forecasting framework that distills weak and redundant early safety signals into compact, layer-aware risk representations. Experiments on five safety benchmarks and two target models demonstrate that ForeSight achieves superior and efficient early-risk forecasting while relying solely on first-token hidden states. The code is available at: https://github.com/Scabbards1500/Foresight
• Abstract（参考訳）: 大規模言語モデル(LLM)の展開が進むにつれて、有害なコンテンツの生成が重要な安全上の問題となっている。 既存の安全ガードは入力、出力またはストリーミング生成段階で動作するが、表面トークンや出力ロジットに依存する早期リスクの手法は、初期信号の弱さに悩まされる可能性がある。 したがって、初期のポスト世代の隠れ状態が、最終応答性有害性に関する信頼できるシグナルを既に含んでいるかどうかは不明である。 このギャップに対処するために、弱くて冗長な早期安全信号からコンパクトな層認識リスク表現に蒸留する第1段階の出力リスク予測フレームワークであるForeSightを提案する。 5つの安全性ベンチマークと2つのターゲットモデルの実験により、ForeSightは先進的な隠れ状態にのみ依存しながら、優れた、効率的な早期リスク予測を実現していることが示された。 コードは以下の通り。 https://github.com/Scabbards1500/Foresight

関連論文リスト

• Beyond Token Positions: Safety Alignment Across Denoising Steps in Diffusion Language Models [4.839980912290382]
  拡散大言語モデル(dLLM)は、左から右への復号ではなく反復的な復号化によってテキストを生成する。 中間トークン分布とコミットメント決定をトレースすることにより、有害なプロンプトの下でのdLLMの安全性挙動を測定する。 本稿では,初期段階から永続的な拒絶信号をコミットする訓練不要復号法であるRefusal-Aware Early Commitment (RAEC)を提案する。
  論文  参考訳（メタデータ） (2026-08-31T23:50:31Z)
• Inference-Time Vulnerability Beyond Shallow Safety: Alignment Along Generation Trajectories [9.386028796990399]
  安全に整合した大規模言語モデル(LLM)は、有害な出力に向けて生成をリダイレクトする推論の介入に対して脆弱なままである。 最近の作業は、アライメントが最初の数個の出力トークンに集中する、浅い安全性に起因する。 任意の生成段階における短いトークン注入は、その後の安全行動を大幅に変化させる可能性があることを示す。
  論文  参考訳（メタデータ） (2026-06-03T12:01:27Z)
• Risk Averse Alert Prioritization for IDS Using Subnormal Gaussian Fuzzy Models [0.0]
  準正規ガウスファジィ数に基づく警告優先順位付けの原理的枠組みを提案する。 各アラートは、重大度を示すコア、不確実性を示すスプレッド、および高さ反射検出信頼性を示すファジィ数として表現される。 ランク付け指標を適用してアラートを優先順位付けし、リスクアテンションパラメータによるセキュリティ姿勢の調整を可能にします。
  論文  参考訳（メタデータ） (2026-05-26T17:11:21Z)
• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
  さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。 我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。 UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-07-29T10:08:52Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
  大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。 キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:46:03Z)
• Spot Risks Before Speaking! Unraveling Safety Attention Heads in Large Vision-Language Models [9.318094073527563]
  大規模視覚言語モデル(LVLM)の内部アクティベーションは、異なる攻撃に対して悪意のあるプロンプトを識別することができる。 この固有の安全性の認識は、私たちが安全の頭と呼ぶ、まばらな注意の頭によって支配されている」。 これらの安全ヘッドを配置し、それらのアクティベーションを連結することにより、単純だが強力な悪意のあるプロンプト検出器を構築する。
  論文  参考訳（メタデータ） (2025-01-03T07:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。