論文の概要: Safe, Untrusted, "Proof-Carrying" AI Agents: toward the agentic lakehouse
- arxiv url: http://arxiv.org/abs/2510.09567v1
- Date: Fri, 10 Oct 2025 17:18:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:49.497396
- Title: Safe, Untrusted, "Proof-Carrying" AI Agents: toward the agentic lakehouse
- Title（参考訳）: 安全で信頼できないAIエージェント「Proof-Carrying」:エージェントレイクハウスに向けて
- Authors: Jacopo Tagliabue, Ciro Greco,
- Abstract要約: APIファーストでプログラム可能なレイクハウスは、安全な設計のエージェントレイクハウスのための適切な抽象化を提供する。
本稿では, エージェントがデータパイプラインを修復する上で, 証明キャリングコードにインスパイアされた正当性チェックを提案する。
- 参考スコア（独自算出の注目度）: 3.6729718095918393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data lakehouses run sensitive workloads, where AI-driven automation raises concerns about trust, correctness, and governance. We argue that API-first, programmable lakehouses provide the right abstractions for safe-by-design, agentic workflows. Using Bauplan as a case study, we show how data branching and declarative environments extend naturally to agents, enabling reproducibility and observability while reducing the attack surface. We present a proof-of-concept in which agents repair data pipelines using correctness checks inspired by proof-carrying code. Our prototype demonstrates that untrusted AI agents can operate safely on production data and outlines a path toward a fully agentic lakehouse.
- Abstract（参考訳）: データレイクハウスは、AI駆動の自動化が信頼性、正確性、ガバナンスに関する懸念を提起する、センシティブなワークロードを実行する。
APIファーストでプログラム可能なレイクハウスは、安全な設計のエージェントワークフローのための適切な抽象化を提供します。
Bauplanをケーススタディとして、データ分岐と宣言的環境がエージェントに自然に拡張され、再現性と可観測性が向上し、攻撃面が減少することを示す。
本稿では, エージェントがデータパイプラインを修復する上で, 証明キャリングコードにインスパイアされた正当性チェックを提案する。
我々のプロトタイプは、信頼できないAIエージェントがプロダクションデータで安全に操作できることを示し、完全にエージェントの湖ハウスへの道を概説している。
関連論文リスト
- Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - Securing AI Agents with Information-Flow Control [16.62563273152804]
本稿では,AIエージェントのセキュリティ保証のための情報フロー制御(IFC)について検討する。
我々は,エージェントプランナーのセキュリティと表現性を推論するための形式モデルを提案する。
機密性や整合性のラベルを追跡し,セキュリティポリシーを決定的に実施するプランナであるFidesを紹介し,情報を選択的に隠蔽するための新しいプリミティブを紹介した。
論文 参考訳（メタデータ） (2025-05-29T16:50:41Z) - SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。
我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文 参考訳（メタデータ） (2025-03-12T19:30:31Z) - A sketch of an AI control safety case [3.753791609999324]
LLMエージェントが障害を引き起こすためのキャパシティが向上するにつれて、AI開発者は、安全であることを正当化するために監視などのコントロール手段をますます頼りにしている。
開発者が"コントロールセーフティケース"を構築する方法についてスケッチします。
この安全ケーススケッチは、危険な能力を持つLLMエージェントが安全にデプロイ可能であることを示すために使用できる、より具体的な議論への一歩です。
論文 参考訳（メタデータ） (2025-01-28T21:52:15Z) - AgentOps: Enabling Observability of LLM Agents [12.49728300301026]
大規模言語モデル(LLM)エージェントは、自律的で非決定論的行動のため、AI安全性に重大な懸念を提起する。
本稿では,エージェントのライフサイクル全体を通じて追跡されるべきアーティファクトと関連するデータを特定し,効果的な観測可能性を実現するための,AgentOpsの包括的な分類法を提案する。
私たちの分類は、監視、ロギング、分析をサポートするAgentOpsインフラストラクチャを設計、実装するためのリファレンステンプレートとして機能します。
論文 参考訳（メタデータ） (2024-11-08T02:31:03Z) - AGI Agent Safety by Iteratively Improving the Utility Function [0.0]
本稿では,AGIエージェントのユーティリティ機能の反復的改善を支援するために,専用の入力端末を作成するAGIセーフティ層を提案する。
因果影響図(CID)にマッピングする作業が進行中であることを示す。
次に、既知の機械学習システムや将来のAGIレベルの学習システムに、安全層をラップする学習エージェントの設計を示す。
論文 参考訳（メタデータ） (2020-07-10T14:30:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。