論文の概要: Environment Steering: Using Data Flow Control to Improve Agent Utility and Safety
- arxiv url: http://arxiv.org/abs/2609.35807v1
- Date: Sat, 19 Sep 2026 20:13:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.28284
- Title: Environment Steering: Using Data Flow Control to Improve Agent Utility and Safety
- Title（参考訳）: 環境ステアリング:エージェントの実用性と安全性を改善するためにデータフロー制御を使用する
- Abstract要約: LLMエージェントは、安全に振る舞うように指示された場合でも、安全でないツールコールを行うことができる。
既存のディフェンスは実行前にエージェントを制約し、ツールインプット/アウトプットを変更したり、LLMジャッジに依存する。
我々は、エージェントが実行し、違反が発生した場合に安全な代替手段に向けて、実行環境が安全を強制すべきであると主張している。
- 参考スコア（独自算出の注目度）: 7.265346219528106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents can make unsafe tool calls even when instructed to behave safely. Existing defenses constrain agents before execution, modify tool inputs/outputs, or rely on LLM judges; these approaches may depend on model behavior or block unsafe actions without helping the agent recover. We argue that the execution environment should instead enforce safety as the agent runs and steer it toward safe alternatives when violations occur---we call this Environment Steering. We implement this by modeling the agent and harness execution state as database tables, track the record-level data flows, and check these data flows against declarative policies during runtime. When violations are detected, policy- and context-specific feedback steers the agent toward safe trajectories. On AgentDyn, this enables the agent to improve task success rate over no-defense while achieving 0% attack success rate.
- Abstract（参考訳）: LLMエージェントは、安全に振る舞うように指示された場合でも、安全でないツールコールを行うことができる。
既存の防御は、実行前にエージェントを制限し、ツールの入力/出力を変更したり、LCMの判断に依存する。
私たちは、実行環境は、エージェントが実行し、違反が発生した場合に安全な代替手段に向けて安全を強制すべきである、と論じます。
我々はエージェントをモデル化し、実行状態をデータベーステーブルとして利用し、レコードレベルのデータフローを追跡し、実行中の宣言的ポリシーに対してこれらのデータフローをチェックする。
違反が検出されると、ポリシーとコンテキスト固有のフィードバックがエージェントを安全な軌道に誘導する。
AgentDynでは、攻撃成功率0%を達成しながら、非防御よりもタスク成功率を向上させることができる。
関連論文リスト
- ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳（メタデータ） (2026-08-25T16:17:27Z) - AgentFlow: A Flow-Centric Policy Language and Framework for Securing LLM Agent Systems [7.734540679538682]
LLMエージェントはますます信頼できないコンテンツを読み、外部ツールを呼び出し、プライベートデータにアクセスし、他のエージェントに作業を委譲する。
本稿では,エージェントシステム内のデータ移動場所を特定するための,フロー中心のポリシー言語であるAgentFlowについて述べる。
論文 参考訳（メタデータ） (2026-08-24T06:56:00Z) - From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。
既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。
本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
論文 参考訳（メタデータ） (2026-06-04T07:34:35Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - Tracking Capabilities for Safer Agents [2.9897366166831265]
ツールを直接呼び出す代わりに、エージェントは機能安全な言語でコードとして意図を表現している。
Scalaの型システムは静的に機能を追跡し、エージェントができることをきめ細かいコントロールを提供する。
実験の結果,エージェントはタスク性能を著しく損なうことなく,機能セーフなコードを生成することができることがわかった。
論文 参考訳（メタデータ） (2026-03-01T08:39:37Z) - ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。
LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。
次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
論文 参考訳（メタデータ） (2026-01-15T07:54:32Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳（メタデータ） (2026-01-12T21:31:38Z) - Progent: Programmable Privilege Control for LLM Agents [46.31581986508561]
本稿では,大規模言語モデルエージェントをセキュアにするための最初の特権制御フレームワークであるProgentを紹介する。
Progentは、潜在的に悪意のあるものをブロックしながら、ユーザタスクに必要なツールコールの実行をエージェントに制限することで、ツールレベルでのセキュリティを強化する。
モジュール設計のおかげで、Progentの統合はエージェント内部を変更せず、既存のエージェントの実装に最小限の変更しか必要としません。
論文 参考訳（メタデータ） (2025-04-16T01:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。