論文の概要: SafeCommit: Certifying When Memory-Grounded Agents May Safely Act
- arxiv url: http://arxiv.org/abs/2608.04289v1
- Date: Tue, 04 Aug 2026 23:44:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.662395
- Title: SafeCommit: Certifying When Memory-Grounded Agents May Safely Act
- Title（参考訳）: SafeCommit: メモリを囲むエージェントが安全な行為をしたときの認証
- Abstract要約: エージェント推論と外部実行の間のリスク制御層であるSafeCommitを紹介する。
コンフォメーションアクション証明書が保持されているすべての世界において、アクションが安全であることを示す場合にのみ、サイドエフェクトフルアクションを許可する。
依存性のない制御シミュレータは、安全ユーティリティのトレードオフを示し、報告されたすべての結果を1つのコマンドで再現する。
- 参考スコア（独自算出の注目度）: 0.10742675209112619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon agents increasingly use persistent memory and tools to take actions with external side effects. A central failure mode is premature commitment: an agent acts before resolving whether its memory grounding is stale, conflicting, incomplete, or corrupted. We formalize this problem as safe commitment under memory uncertainty and introduce SafeCommit, a risk controlled layer between agent reasoning and external execution. The layer constructs a calibrated set of plausible latent worlds from memory, observations, tool outputs, provenance, and policy constraints. It permits a side effectful action only when a conformal action certificate shows that the action is safe in every retained world. Otherwise, it selects a low-side-effect probe that targets the worlds blocking certification, or returns a conservative fallback. Under calibrated world coverage, the probability of an unsafe certified commit is at most the target level α; with imperfect world proposal, the bound separates calibration and representation error. A dependency-free controlled simulator illustrates the safety-utility tradeoff and reproduces all reported results with one command. The goal is to offer a concrete approach for deciding not only what an agent should do, but when the available evidence is sufficient to safely do it.
- Abstract（参考訳）: ロングホライゾンエージェントは、ますます永続的なメモリとツールを使用して、外部の副作用でアクションを取る。
中央の障害モードは早期のコミットメントであり、エージェントはそのメモリ接地が不安定であるか、矛盾しているか、不完全であるか、あるいは破損しているかを解決する前に行動する。
メモリ不確実性の下での安全なコミットメントとしてこの問題を形式化し、エージェント推論と外部実行の間のリスク制御層であるSafeCommitを導入する。
レイヤは、メモリ、観測、ツール出力、証明、ポリシー制約から、分類可能な潜在世界の集合を構成する。
コンフォメーションアクション証明書が保持されているすべての世界において、アクションが安全であることを示す場合にのみ、サイドエフェクトフルアクションを許可する。
さもなければ、世界が認証をブロックしていることを狙うローサイドエフェクトプローブを選択したり、保守的なフォールバックを返す。
キャリブレーションされた世界カバレッジの下では、安全でない認定されたコミットの確率は、少なくともターゲットレベルαであり、不完全な世界提案では、境界がキャリブレーションと表現エラーを分離する。
依存性のない制御シミュレータは、安全ユーティリティのトレードオフを示し、報告されたすべての結果を1つのコマンドで再現する。
目標は、エージェントが何をすべきかを決めるための具体的なアプローチを提供することだ。
関連論文リスト
- Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - When Can Safe Controllers Adapt? Information before Commitment [26.556002437630426]
本研究では,学習経路自体の安全保証の下で,安全な適応制御について検討する。
パフォーマンスは、実際のモデルを知っている安全なオラクルに対して測定されます。
我々は,特殊事例の回復を証明し,決定論的線形ガウス系に対する半定値上の証明を導出する。
論文 参考訳（メタデータ） (2026-07-18T17:30:41Z) - From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。
既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。
本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
論文 参考訳（メタデータ） (2026-06-04T07:34:35Z) - ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails [57.25411733152009]
推論に基づくガードレールは、最終的な決定を下す前に明確な合理性を生成することによって安全性のモデレーションを改善する。
モデルは、その推論において有害な意図を認識することができるが、それでも安全なラベルを予測したり、政策を根拠とした正当化なしに安全でない決定を下す。
推論に基づくガードレールのための一貫性を考慮したフレームワークであるConsisGuardを提案する。
論文 参考訳（メタデータ） (2026-05-29T09:42:08Z) - Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback [38.251599309409]
我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。
ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
論文 参考訳（メタデータ） (2026-05-17T13:51:34Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-04-14T06:48:33Z) - Conformal Policy Control [50.46542384484142]
我々は、安全な参照ポリシーを、最適化されているが未試験のポリシーの確率的規制として使う方法を示す。
保守的な最適化方法とは異なり、ユーザーが正しいモデルクラスを識別したとは仮定しない。
自然言語質問応答から生体分子工学まで,本研究の応用実験は,デプロイ開始当初から安全な探索が可能であることを示唆している。
論文 参考訳（メタデータ） (2026-03-02T18:54:36Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳（メタデータ） (2025-12-24T15:01:26Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - VerificAgent: Domain-Specific Memory Verification for Scalable Oversight of Aligned Computer-Use Agents [0.17812428873698402]
未確認の記憶は、ユーザの意図や安全性の制約から逸脱することがある。
CUAのためのスケーラブルな監視フレームワークであるVerificAgentを紹介する。
VerificAgentはタスクの信頼性を改善し、幻覚による障害を低減し、解釈可能な監査可能なガイダンスを保持する。
論文 参考訳（メタデータ） (2025-06-03T07:25:49Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。