論文の概要: SingProbe Technical Report

• arxiv url: http://arxiv.org/abs/2608.30703v1
• Date: Mon, 31 Aug 2026 12:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.392003
• Title: SingProbe Technical Report
• Title（参考訳）: SingProbeの技術報告
• Abstract要約: 我々は,大規模言語モデルの軽量ランタイム固有のガードであるSingProbeを紹介する。 SingProbeは、トークンレベルでクエリインテント、レスポンスセーフ、幻覚リスクを継続的に予測する。 また、このパラダイムをSingProbe-Medを通じて医療世代に拡張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Runtime guardrails are essential for reliable large language model (LLM) deployment, yet existing approaches typically rely on independent, external models that introduce additional inference cost, delayed safety signals, and a capacity mismatch with increasingly capable base models. To address these issues, we introduce SingProbe, a lightweight intrinsic runtime guard that directly reuses hidden states produced during LLM inference and operates alongside autoregressive decoding. Within a unified framework, SingProbe continuously predicts query intent, response safety, and hallucination risk at the token level with negligible additional guardrail inference overhead, offering a "free-lunch" solution. We further introduce SingStreamBench, a benchmark designed to assess whether streaming guardrails remain inactive on benign prefixes while promptly detecting emerging unsafe content. Extensive experiments show that SingProbe achieves competitive or superior performance compared with substantially larger standalone guardrails and specialized hallucination detectors, with only $\approx$2M parameters and $<0.5\%$ extra overhead. Beyond passive detection, we also show that SingProbe scores can anticipate future generation risk and guide constrained safe decoding. We further extend this paradigm to medical generation through SingProbe-Med, which selectively activates risk-directed decoding interventions only when clinically relevant risks emerge. Together, these results demonstrate that internal model representations provide an effective and efficient interface for generation-time monitoring and control.
• Abstract（参考訳）: ランタイムガードレールは信頼性の高い大規模言語モデル(LLM)デプロイメントには不可欠だが、既存のアプローチは一般的に、追加の推論コスト、遅延安全信号、能力の高いベースモデルとのキャパシティミスマッチを含む、独立した外部モデルに依存している。 これらの問題に対処するため、LLM推論時に生成した隠れ状態を直接再利用し、自己回帰復号と共に動作する軽量な固有のランタイムガードであるSingProbeを紹介した。 統一されたフレームワーク内では、SingProbeは、トークンレベルでクエリインテント、レスポンスセーフティ、幻覚リスクを、無視できる追加のガードレール推論オーバーヘッドで継続的に予測し、"フリーランチ"ソリューションを提供する。 SingStreamBenchはまた、ストリーミングガードレールがベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグ 大規模な実験により、SingProbeは、かなり大きなスタンドアロンガードレールや特殊な幻覚検出器と比較して、競争力や優れた性能を達成でき、わずか$\approx$2Mパラメータと$<0.5\%$余分なオーバーヘッドしか持たないことがわかった。 受動的検出以外にも、SingProbeのスコアが将来の世代リスクを予測し、制約付き安全な復号を導出できることも示している。 我々は、このパラダイムをSingProbe-Medを通じて医療創生に拡張し、臨床的に関連するリスクが発生した場合にのみ、リスク指向のデコード介入を選択的に活性化する。 これらの結果から,内部モデル表現は生成時のモニタリングと制御に効率的かつ効率的なインタフェースを提供することが示された。

関連論文リスト

• Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs [0.0]
  既存のアプローチは、生成後に適用される別のモデレーションモデルに依存している。 我々は、モデレーションに必要な信号が隠蔽状態のモデルにすでに存在することを観察する。 トークンレベルの軽量プローブをトレーニングし、内部アクティベーションを直接操作します。
  論文  参考訳（メタデータ） (2026-06-09T07:01:43Z)
• LLM Safety From Within: Detecting Harmful Content with Internal Representations [16.054258510018688]
  SIRENは、内部層に分散した安全関連機能を利用する軽量ガードモデルである。 評価の結果,SIRENは最先端のオープンソースガードモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-04-20T17:17:07Z)
• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• Safety-Guided Flow (SGF): A Unified Framework for Negative Guidance in Safe Generation [2.5489046505746704]
  本稿では,画像生成タスクに対する最大平均離散性(MMD)ポテンシャルを用いた統一確率的フレームワークを提案する。 我々は制御バリア関数解析を利用して、負のガイダンスが強くなければならない臨界時間窓の存在を正当化する。 我々は,いくつかの現実的な安全な生成シナリオにおいて,統合されたフレームワークを評価し,否定的なガイダンスがデノナイジングプロセスの初期段階で適用されるべきであることを確認した。
  論文  参考訳（メタデータ） (2026-03-02T07:31:29Z)
• NExT-Guard: Training-Free Streaming Safeguard without Token-Level Labels [66.70287556682105]
  NExT-Guardは、スパースオートエンコーダ(SAE)の解釈可能な潜在機能を監視することで、ストリーミングセーフガードを実現するトレーニング不要フレームワークである。 利用可能なLLMから事前訓練されたSAEを使用しており、トークンレベルの監視なしに柔軟な低コストなデプロイを可能にする。 実験の結果, NExT-Guardは, 教師付きトレーニングに基づいて, ポストホックとストリーミングの保護の両方に優れていた。
  論文  参考訳（メタデータ） (2026-02-10T08:54:10Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
  本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-01-21T05:16:50Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Kelp: A Streaming Safeguard for Large Models via Latent Dynamics-Guided Risk Detection [29.51645496888383]
  Kelpは、LM生成パイプライン内でのストリーミングリスク検出を可能にする、新しいプラグインフレームワークである。 Kelpは、最先端のポストホックガードレールと以前のプラグインプローブを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-09T14:42:50Z)
• CARE: Decoding Time Safety Alignment via Rollback and Introspection Intervention [68.95008546581339]
  Contrastive Decodingのような既存のデコーディングタイムの介入は、安全と応答品質の間に深刻なトレードオフを強いることが多い。 本稿では,3つの重要なコンポーネントを統合した,復号時安全アライメントのための新しいフレームワークであるCAREを提案する。 このフレームワークは、安全性、品質、効率のバランスが良く、有害な応答率が低く、ユーザエクスペリエンスを最小限に破壊できる。
  論文  参考訳（メタデータ） (2025-09-01T04:50:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。