論文の概要: FreoStream:Enhancing Stream Guardrails via Future-Aware Reasoning and Safety-Aligned Optimization

• arxiv url: http://arxiv.org/abs/2606.13737v1
• Date: Thu, 11 Jun 2026 12:25:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.534487
• Title: FreoStream:Enhancing Stream Guardrails via Future-Aware Reasoning and Safety-Aligned Optimization
• Title（参考訳）: FreoStream: 将来の認識推論と安全に配慮した最適化によるストリームガードレールの強化
• Authors: Jianwei Wang, Guoyang Shen, Yanhong Wu, Haoran Li, Hao Peng, Huiping Zhuang, Cen Chen, Ziqian Zeng,
• Abstract要約: ストリームガードレールは、完全なレスポンスが生成される前にトークンレベルの安全検出を可能にする。 ベースガードレールが安全でないトークンを検出すると、FeroStreamはLoRAモジュールを微調整してFuture-Aware Reasoningを実行する。 FeroStreamは、既存のストリーミングガードレールと比較して、オーバーリフレッシュレートとジェイルブレイク防御の改善を実現している。
• 参考スコア（独自算出の注目度）: 30.78045096492755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stream guardrails enable token-level safety detection before full responses are generated. However, they often make overly conservative judgements and block those sensitive but safe tokens, which is known as over-refusal. Due to lack of full context, they also fail to detect implicitly harmful content from jailbreaking. To address these challenges, we propose FreoStream, a novel streaming guardrail framework. Specifically, FreoStream fine-tunes a LoRA module to perform Future-Aware Reasoning when the base guardrail detects unsafe tokens. The reasoning process follows a Future-Reason-Judge paradigm: predict the future, reason about the full context and give the final judgement. This design can effectively reduce over-refusal by incorporating the future information. Moreover, we introduce the Safety-Aligned Optimization module that extracts the safety-aligned component from the reasoning gradients to update the base guardrail model, thereby enhancing streaming safety detection. Extensive experiments on various safety benchmarks demonstrate that FreoStream achieves lower over-refusal rates and better jailbreak defense compared to existing streaming guardrails.
• Abstract（参考訳）: ストリームガードレールは、完全なレスポンスが生成される前にトークンレベルの安全検出を可能にする。 しかし、しばしば過度に保守的な判断を下し、過度に拒否されるような敏感だが安全なトークンをブロックする。 完全なコンテキストが欠如しているため、ジェイルブレイクから暗黙的に有害なコンテンツを検出することができない。 これらの課題に対処するため、新しいストリーミングガードレールフレームワークであるFreoStreamを提案する。 具体的には、ベースガードレールが安全でないトークンを検出すると、FreoStreamはLoRAモジュールを微調整してFuture-Aware Reasoningを実行する。 推論プロセスはFuture-Reason-Judgeパラダイムに従っており、未来を予測し、完全なコンテキストを推論し、最終的な判断を与える。 この設計は、将来的な情報を取り入れることで、過剰な拒絶を効果的に軽減することができる。 さらに,基本ガードレールモデルを更新するために,安全に配慮したコンポーネントを推論勾配から抽出し,ストリーミング安全検出を向上するセーフティ・アラインド・オプティマイズ・モジュールを導入する。 さまざまな安全ベンチマークに関する大規模な実験は、FreoStreamが既存のストリーミングガードレールと比較して、オーバーリフレクション率とジェイルブレイク防御性を向上していることを示している。

関連論文リスト

• SentGuard: Sentence-Level Streaming Guardrails for Large Language Models [40.00517152303363]
  本稿では,文レベルのストリーミングガードレールであるSentGuardを提案する。 構造化された文毎アノテーションによるベンチマークは、推論と応答セグメントの両方にわたる安全性リスクの進化をキャプチャする。 実験の結果、SentGuardは既存のベースラインを上回り、2文以内に90.5%の安全でないケースを検出し、低ストリーミングの偽陽性率7.41%を維持した。
  論文  参考訳（メタデータ） (2026-06-01T10:30:08Z)
• Internalizing Safety Understanding in Large Reasoning Models via Verification [33.2377930782685]
  本稿では,安全確認タスクにのみ焦点をあてた LRM のトレーニングにより,安全性仕様を内部化するフレームワークを提案する。 検証の学習は、応答安全性の強力な一般化を誘導し、ドメイン外ジェイルブレイクに対する堅牢性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-09T13:05:00Z)
• THINKSAFE: Self-Generated Safety Alignment for Reasoning Models [60.10077024249373]
  外部の教師がいなくても安心して安心できるフレームワークであるThinkSafeを提案する。 我々の重要な洞察は、コンプライアンスは安全メカニズムを抑制するが、モデルはしばしば害を特定するために潜伏した知識を保持することである。 DeepSeek-R1-DistillとQwen3の実験では、ThinkSafeは推論能力を維持しながら安全性を大幅に向上している。
  論文  参考訳（メタデータ） (2026-01-30T16:31:02Z)
• Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
  推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。 攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
  論文  参考訳（メタデータ） (2025-10-13T16:16:44Z)
• Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets [64.96967819446553]
  本稿では,上流アライメントデータセットと下流微調整タスクの表現類似性のレンズによる安全ガードレールの劣化について検討する。 これらのデータセット間の高い類似性は、安全ガードレールを著しく弱め、モデルがジェイルブレイクの影響を受けやすくする。 これら2種類のデータセット間の類似性が低いと、より堅牢なモデルが得られ、有害度スコアが最大10.33%減少する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:55Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Steering Dialogue Dynamics for Robustness against Multi-turn Jailbreaking Attacks [59.300698230887114]
  大規模言語モデル(LLM)は、有害な応答を誘発するために敵のプロンプトが設計されたジェイルブレイク攻撃に対して脆弱であることが示されている。 安全制御理論に基づく安全ステアリングフレームワークを提案し,マルチターン対話における不変安全性を保証する。
  論文  参考訳（メタデータ） (2025-02-28T21:10:03Z)
• Evaluating Defences against Unsafe Feedback in RLHF [26.872318173182414]
  本稿では、強化学習による安全でないフィードバックからの学習について考察する。 安全に配慮したLLMは有害なテキストを生成することで、安全でない行動空間を容易に探索できることがわかった。 この脆弱性から保護するために、我々は、有害な微調整の防御を「単純」と「明示」の両方に適応させる。
  論文  参考訳（メタデータ） (2024-09-19T17:10:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。