論文の概要: Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents

• arxiv url: http://arxiv.org/abs/2606.13884v1
• Date: Thu, 11 Jun 2026 20:19:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.638063
• Title: Capability Minimization as a Safety Primitive: Risk-Aware Causal Gating for Least-Privilege LLM Agents
• Title（参考訳）: 安全プリミティブとしての機能最小化:LLM剤のリスク対応因果ゲイティング
• Authors: Laxmipriya Ganesh Iyer, Rahul Suresh Babu,
• Abstract要約: Risk-Aware Causal Gating (RACG) は、モデルの予測から行動するか、延期するかを判断するフレームワークである。 RACGは、候補行動から結果への因果経路をモデル化し、予測された対実リスクに応じて各決定をゲートする。 RACGは,非ゲートポリシーの効用の大部分を保ちながら,コストエラーを大幅に低減することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern decision systems increasingly rely on learned components whose outputs may be confident yet wrong, exposing downstream actions to costly errors. We introduce Risk-Aware Causal Gating (RACG), a framework that decides whether to act on, defer, or abstain from a model's prediction by combining causal effect estimation with calibrated risk control. RACG models the causal pathway from candidate actions to outcomes and gates each decision according to an estimated counterfactual risk rather than raw predictive confidence. To make gating reliable, we derive distribution-free bounds on the probability of acting under high-risk conditions and show how these bounds translate into operating thresholds that satisfy user-specified safety constraints. We further propose an adaptive gating policy that adjusts to distribution shift by monitoring discrepancies between predicted and realized outcomes, tightening the gate when causal assumptions appear violated. Across simulated interventions and real-world decision benchmarks, RACG reduces high-cost errors substantially while preserving most of the utility of an ungated policy, and it outperforms confidence-based and selective-prediction baselines at matched abstention rates. Our results indicate that explicitly separating causal risk from predictive uncertainty yields decision systems that are both safer and more transparent, offering a principled mechanism for trustworthy automation in high-stakes settings.
• Abstract（参考訳）: 現代の意思決定システムは、アウトプットが不正確である可能性のある学習されたコンポーネントにますます依存し、ダウンストリームアクションをコストのかかるエラーに公開します。 リスク・アウェア・カウサル・ゲーティング (RACG) は, 因果効果推定と校正リスク制御を組み合わせることで, モデル予測の動作, 延期, 棄却を決定する枠組みである。 RACGは、候補行動から結果への因果経路をモデル化し、生の予測信頼度ではなく、推定された対実リスクに基づいて各決定をゲートする。 ゲーティングを信頼性のあるものにするために、高リスク条件下での動作確率の分布自由境界を導出し、これらの境界がユーザ指定の安全制約を満たす動作しきい値にどのように変換されるかを示す。 さらに、予測結果と実現結果の相違をモニタリングし、因果仮定に違反した場合にゲートを締め付けることにより、分布変化に適応的なゲーティングポリシーを提案する。 シミュレーションされた介入と実世界の意思決定ベンチマーク全体にわたって、RACGは、アンゲートされたポリシーの効用の大部分を保ちながら、コストエラーを大幅に削減し、一致した棄権率で信頼ベースおよび選択予測ベースラインを上回っている。 以上の結果から,因果リスクを予測不確実性から明確に分離することで,より安全かつ透明性の高い意思決定システムが得られることが示唆された。

関連論文リスト

• Distribution-Free Risk-Aware Planning and Control Under Uncertainty Using Conformal Spectral Risk Control [1.9551668880584971]
  本稿では,リスク対応モデル予測制御(RA-MPC)フレームワークを提案する。 予測セットをMPCフレームワークに組み込むことで、不確実な不確実性であってもスペクトルリスク制約満足度の観点から統計的安全性が保証されることを示す。
  論文  参考訳（メタデータ） (2026-06-02T20:07:56Z)
• Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
  部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。 安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-14T01:23:09Z)
• Conformal Selective Prediction with General Risk Control [8.936337121607677]
  我々は、トレーニングされたモデルと、ユーザ定義、バウンダリ、継続的な評価のリスクに対して、そのような決定を導出するための新しいフレームワークを提案する。 SCoREは、システムがモデルを信頼することを選択したケースのリスクに関する2つの保証を提供する。 提案手法をシミュレーションにより評価し, 薬物発見, 健康リスク予測, 大規模言語モデルにおける誤り管理への応用を通じて, 有効性を示す。
  論文  参考訳（メタデータ） (2026-03-25T18:29:23Z)
• Entropy Alone is Insufficient for Safe Selective Prediction in LLMs [20.664633053172327]
  選択予測システムは、高リスクケースでの回答を控えることで、言語モデル幻覚による害を軽減することができる。 不確実性定量化技術はしばしばそのようなケースを特定するために用いられるが、より広い選択的予測ポリシーの文脈で評価されることはほとんどない。 エントロピーに基づく不確実性手法のモデル依存的故障モードを同定し、エントロピースコアと正当性プローブ信号を組み合わせることで、信頼できない禁忌行動に対処する。
  論文  参考訳（メタデータ） (2026-03-22T11:27:13Z)
• Safe RLHF Beyond Expectation: Stochastic Dominance for Universal Spectral Risk Control [12.053369001333058]
  本稿では,予測コスト制約をFSD(First-Order Dominance)制約に置き換える,リスクに敏感なアライメントフレームワークを提案する。 RADは, 有効性を保ちながら, ベースラインよりも無害性を向上し, アウト・オブ・ディストリビューション評価においてより堅牢性を示す。
  論文  参考訳（メタデータ） (2026-03-11T16:24:20Z)
• Conformal Thinking: Risk Control for Reasoning on a Compute Budget [60.65072883773352]
  大規模言語モデル(LLM)の推論により、トークンの予算が増加するにつれて、データセットレベルの精度が向上する。 我々は、予算設定問題をリスクコントロールとして再設定し、計算を最小化しながらエラー率を制限する。 我々のフレームワークは、モデルが自信のあるときに推論を停止する上位しきい値と、未解決のインスタンスを事前に停止させる新しい下位しきい値を導入する。
  論文  参考訳（メタデータ） (2026-02-03T18:17:22Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
  言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。 本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。 回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
  論文  参考訳（メタデータ） (2025-03-03T09:16:26Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。