論文の概要: Safe, Untrusted, "Proof-Carrying" AI Agents: toward the agentic lakehouse
- arxiv url: http://arxiv.org/abs/2510.09567v1
- Date: Fri, 10 Oct 2025 17:18:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:49.497396
- Title: Safe, Untrusted, "Proof-Carrying" AI Agents: toward the agentic lakehouse
- Title（参考訳）: 安全で信頼できないAIエージェント「Proof-Carrying」:エージェントレイクハウスに向けて
- Authors: Jacopo Tagliabue, Ciro Greco,
- Abstract要約: APIファーストでプログラム可能なレイクハウスは、安全な設計のエージェントレイクハウスのための適切な抽象化を提供する。
本稿では, エージェントがデータパイプラインを修復する上で, 証明キャリングコードにインスパイアされた正当性チェックを提案する。
- 参考スコア（独自算出の注目度）: 3.6729718095918393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data lakehouses run sensitive workloads, where AI-driven automation raises concerns about trust, correctness, and governance. We argue that API-first, programmable lakehouses provide the right abstractions for safe-by-design, agentic workflows. Using Bauplan as a case study, we show how data branching and declarative environments extend naturally to agents, enabling reproducibility and observability while reducing the attack surface. We present a proof-of-concept in which agents repair data pipelines using correctness checks inspired by proof-carrying code. Our prototype demonstrates that untrusted AI agents can operate safely on production data and outlines a path toward a fully agentic lakehouse.
- Abstract（参考訳）: データレイクハウスは、AI駆動の自動化が信頼性、正確性、ガバナンスに関する懸念を提起する、センシティブなワークロードを実行する。
APIファーストでプログラム可能なレイクハウスは、安全な設計のエージェントワークフローのための適切な抽象化を提供します。
Bauplanをケーススタディとして、データ分岐と宣言的環境がエージェントに自然に拡張され、再現性と可観測性が向上し、攻撃面が減少することを示す。
本稿では, エージェントがデータパイプラインを修復する上で, 証明キャリングコードにインスパイアされた正当性チェックを提案する。
我々のプロトタイプは、信頼できないAIエージェントがプロダクションデータで安全に操作できることを示し、完全にエージェントの湖ハウスへの道を概説している。
関連論文リスト
- Tracking Capabilities for Safer Agents [2.9897366166831265]
ツールを直接呼び出す代わりに、エージェントは機能安全な言語でコードとして意図を表現している。
Scalaの型システムは静的に機能を追跡し、エージェントができることをきめ細かいコントロールを提供する。
実験の結果,エージェントはタスク性能を著しく損なうことなく,機能セーフなコードを生成することができることがわかった。
論文 参考訳（メタデータ） (2026-03-01T08:39:37Z) - AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。
エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。
AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
論文 参考訳（メタデータ） (2026-01-26T13:45:41Z) - CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。
CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。
このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
論文 参考訳（メタデータ） (2026-01-14T23:06:35Z) - Trustworthy AI in the Agentic Lakehouse: from Concurrency to Governance [5.3013727160110085]
信頼できるエージェントへの道は、まずインフラストラクチャの問題を解決することから始まります。
我々は,データを再実装し,レイクハウス内での分離を計算するエージェントファースト設計であるBauplanを提案する。
Bauplanで自己修復パイプラインのリファレンス実装を共有することで、結論付けます。
論文 参考訳（メタデータ） (2025-11-20T14:21:34Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - Securing AI Agents with Information-Flow Control [16.62563273152804]
本稿では,AIエージェントのセキュリティ保証のための情報フロー制御(IFC)について検討する。
我々は,エージェントプランナーのセキュリティと表現性を推論するための形式モデルを提案する。
機密性や整合性のラベルを追跡し,セキュリティポリシーを決定的に実施するプランナであるFidesを紹介し,情報を選択的に隠蔽するための新しいプリミティブを紹介した。
論文 参考訳（メタデータ） (2025-05-29T16:50:41Z) - SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。
我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文 参考訳（メタデータ） (2025-03-12T19:30:31Z) - A sketch of an AI control safety case [3.753791609999324]
LLMエージェントが障害を引き起こすためのキャパシティが向上するにつれて、AI開発者は、安全であることを正当化するために監視などのコントロール手段をますます頼りにしている。
開発者が"コントロールセーフティケース"を構築する方法についてスケッチします。
この安全ケーススケッチは、危険な能力を持つLLMエージェントが安全にデプロイ可能であることを示すために使用できる、より具体的な議論への一歩です。
論文 参考訳（メタデータ） (2025-01-28T21:52:15Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z) - AgentOps: Enabling Observability of LLM Agents [12.49728300301026]
大規模言語モデル(LLM)エージェントは、自律的で非決定論的行動のため、AI安全性に重大な懸念を提起する。
本稿では,エージェントのライフサイクル全体を通じて追跡されるべきアーティファクトと関連するデータを特定し,効果的な観測可能性を実現するための,AgentOpsの包括的な分類法を提案する。
私たちの分類は、監視、ロギング、分析をサポートするAgentOpsインフラストラクチャを設計、実装するためのリファレンステンプレートとして機能します。
論文 参考訳（メタデータ） (2024-11-08T02:31:03Z) - AGI Agent Safety by Iteratively Improving the Utility Function [0.0]
本稿では,AGIエージェントのユーティリティ機能の反復的改善を支援するために,専用の入力端末を作成するAGIセーフティ層を提案する。
因果影響図(CID)にマッピングする作業が進行中であることを示す。
次に、既知の機械学習システムや将来のAGIレベルの学習システムに、安全層をラップする学習エージェントの設計を示す。
論文 参考訳（メタデータ） (2020-07-10T14:30:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。