論文の概要: Positive-Unlabeled Learning for Agent Safety False Alarm Auditing

• arxiv url: http://arxiv.org/abs/2610.02925v1
• Date: Fri, 02 Oct 2026 07:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.252811
• Title: Positive-Unlabeled Learning for Agent Safety False Alarm Auditing
• Title（参考訳）: エージェント・セーフティ・ファルス・アラーム監査のためのポジティブ・アンラベルラーニング
• Abstract要約: 安全監視は、言語モデルエージェントが外部のツールや環境と対話するのを保護するのに役立つ。 偽のアラームと真偽のアラームは、ネイティブモニターのスコアにインターリーブされることが多いため、信頼できるカットオフを得るには、かなりの手作業による検証が必要である。 本稿では,Trust-Aware PU Supervisionがアラーム領域に対して安全な参照を適応させる2段階フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.558472786027284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety monitors help safeguard language-model agents interacting with external tools and environments, but conservative monitoring can generate many false alarms, consuming extensive review resources and weakening trust in alerts. Because false and genuine alarms often remain interleaved in native monitor scores, obtaining a reliable cutoff still requires substantial manual verification. In practice, a small set of verified-safe non-alarmed trajectories may be available while alarms remain unlabeled, naturally casting false-alarm auditing as a positive-unlabeled (PU) ranking problem. The key challenge is monitor-induced selection, since observed safe references are accepted by the monitor, while the hidden safe alarms of interest are precisely those it incorrectly flags, making the observed positives poorly representative of the positives to be recovered. To address this challenge, we propose a two-stage framework in which Trust-aware PU Supervision adapts safe references toward the alarm domain and protects plausible false alarms from excessive negative pressure, while Reliability-gated Rank Distillation consolidates consistent ordering preferences from multiple PU reference models into a single student. Consensus-guided Structural Refinement then improves the student ranking using hierarchical safe-reference support, alarm relations, and predicted reference consensus. The framework requires no alarm safety labels for fitting and leaves the underlying monitor unchanged. Across mainstream safety monitors, our method achieves a macro AUPRC of $0.6444$, outperforming eight evaluated PU baselines by 5.27--16.98 absolute percentage points; compared with PULDA, the strongest evaluated PU baseline, it recovers 33.3% more false alarms at a 5% review budget.
• Abstract（参考訳）: 安全監視は、外部のツールや環境と相互作用する言語モデルエージェントの保護に役立つが、保守的な監視は多くの誤報を発生させ、広範なレビューリソースを消費し、アラートに対する信頼を弱めることができる。 偽のアラームと真偽のアラームは、ネイティブモニターのスコアにインターリーブされることが多いため、信頼できるカットオフを得るには、かなりの手作業による検証が必要である。 実際には、アラームは未ラベルのままであり、偽アラーム監査は正の未ラベル(PU)ランキング問題として自然に行われる。 モニターによる選択は、観測された安全基準がモニターによって受理されるのに対して、隠れた安全警報は正確にはフラグが正しくないため、観測された正の値が回復されることが不十分であるため、鍵となる課題である。 この課題に対処するため,Trust-Aware PU Supervision がアラーム領域に対して安全な参照を適応し,信頼度付きランク蒸留が複数のPU参照モデルから一貫した順序付けを単一学生に統一する2段階のフレームワークを提案する。 コンセンサス誘導型構造リファインメントは、階層型安全参照サポート、アラーム関係、予測基準コンセンサスを用いて、学生のランキングを改善する。 このフレームワークにはアラーム安全ラベルが不要で、基盤となるモニターは変更されていない。 本手法は,最大評価PUベースラインであるPULDAと比較して,評価PUベースライン8点を5.27-16.98絶対パーセンテージで上回る0.6444$のマクロAUPRCを実現し,5%のレビュー予算で33.3%の誤警報を回復する。

関連論文リスト

• When Do Model Internals Help? Exploring the Role of Representation Engineering in LLM Safety [34.05875226612676]
  安全管理と安全監視のための表現工学の整合性評価について述べる。 安全管理のために,DPOと3つの表現ステアリング法を比較し,ロバスト性,実用性,粒度を比較検討した。 安全監視のために、我々は表現プローブを全応答検出、早期検出、計算コストで微調整およびオープンウェイトなテキストモニターと比較する。
  論文  参考訳（メタデータ） (2026-09-28T09:50:08Z)
• Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation [2.287641923890767]
  外科的セグメンテーションネットワークは、取得劣化時に静かに失敗することがある。 観測可能な形状,時間整合性,画像品質などの信頼性を組み合わせた,ホット後の障害監視フレームワークであるTCSR-Monitorを提案する。
  論文  参考訳（メタデータ） (2026-08-17T15:57:19Z)
• BraveGuard: From Open-World Threats to Safer Computer-Use Agents [68.38397514360227]
  BraveGuardは、オープンワールドの脅威信号とリアルエージェントの軌道からモデルを訓練するための自己進化型防衛フレームワークである。 我々は、Qwen3-GuardやLlama-Guardなど複数のガードバックボーンをトレーニングしてBraveGuardをインスタンス化し、トラジェクトリレベルのエージェントセーフティベンチマークの結果のガードを評価する。
  論文  参考訳（メタデータ） (2026-05-31T11:16:18Z)
• Risk Averse Alert Prioritization for IDS Using Subnormal Gaussian Fuzzy Models [0.0]
  準正規ガウスファジィ数に基づく警告優先順位付けの原理的枠組みを提案する。 各アラートは、重大度を示すコア、不確実性を示すスプレッド、および高さ反射検出信頼性を示すファジィ数として表現される。 ランク付け指標を適用してアラートを優先順位付けし、リスクアテンションパラメータによるセキュリティ姿勢の調整を可能にします。
  論文  参考訳（メタデータ） (2026-05-26T17:11:21Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Guardian-as-an-Advisor: Advancing Next-Generation Guardian Models for Trustworthy LLMs [70.81495077853673]
  ハードゲートのセーフティチェッカーは、しばしばベンダーのモデル仕様に過度に反抗し、不平を言う。 この研究は、ガーディアン・アズ・ア・アドバイザ(GaaA)というソフトゲーティングパイプラインを導入し、保護者がバイナリリスクラベルを予測し、このアドバイスを元のクエリに再推論する。 全体として、GaaAはモデル仕様に従うようモデルに指示し、過度な拒絶を減らしながら安全性を維持している。
  論文  参考訳（メタデータ） (2026-04-08T23:47:29Z)
• AgentDrift: Unsafe Recommendation Drift Under Tool Corruption Hidden by Ranking Metrics in LLM Agents [2.995458991057093]
  クリーンで汚染されたツール出力条件下で、実際の財務対話を再生するペアトラジェクトリプロトコルを導入する。 評価盲点パターンを観察し, 推奨品質は汚染下で保存される。 物語のみの腐敗(バイアス付き見出し、数値操作なし)でさえ、一貫性モニタを完全に回避しながら大きなドリフトを引き起こします。
  論文  参考訳（メタデータ） (2026-03-13T01:54:00Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• Sample-Efficient Safety Assurances using Conformal Prediction [57.92013073974406]
  早期警戒システムは、安全でない状況が差し迫ったときに警告を提供することができる。 安全性を確実に向上させるためには、これらの警告システムは証明可能な偽陰性率を持つべきである。 本稿では,共形予測と呼ばれる統計的推論手法とロボット・環境力学シミュレータを組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-28T23:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。