論文の概要: LACUNA: Safe Agents as Recursive Program Holes
- arxiv url: http://arxiv.org/abs/2605.28617v1
- Date: Wed, 27 May 2026 15:27:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.176766
- Title: LACUNA: Safe Agents as Recursive Program Holes
- Title(参考訳): LACUNA:再帰的なプログラムホールとして安全なエージェント
- Abstract要約: LLMエージェントはますますコードを記述することで振る舞うが、エージェントを駆動するランタイムとモデルが記述するコードの間には分割が持続する。
我々は、安全性を維持しながら、この分割を閉じるエージェントのためのプログラミングモデルであるLACUNAを紹介する。
我々のプリミティブは、通常の制御フローとしてReActループ、サブエージェント、スキル、並列分解、マルチモデル計画を表現する。
- 参考スコア(独自算出の注目度): 3.2613419151327343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents increasingly act by writing code, yet a split persists between the runtime that drives the agent and the code the model writes. The runtime owns the loop, context, and control flow, and the model has little say over any of them. Letting model-written code shape the runtime itself would make agents more expressive, but it would also sharpen safety problems. A model can be diverted by a prompt injection, call the wrong tool, or fail partway and leave an inconsistent state, and each such failure reaches further when the code shapes the runtime than when it expresses a single action. We present LACUNA, a programming model for agents that closes this split while preserving safety. Each agent action is a typed call $\texttt{agent[T](task)}$ that the LLM fills with code when execution reaches it, and the code is type-checked against the surrounding program before it runs. Because each action is accepted or rejected as a whole, a rejected one leaves the environment untouched, and its compiler diagnostics drive a retry. The same check also bounds which tools and data an action may use and how they flow. Our primitive expresses ReAct loops, sub-agents, skills, parallel decomposition, and multi-model planning as ordinary control flow. We evaluate LACUNA on a collection of test cases, BrowseComp-Plus, and $τ^2$-bench. On BrowseComp-Plus, $8.6\%$ of generations are rejected before execution, with 0.7 retries per query on average, and the agent reaches $27.1\%$ accuracy. On $τ^2$-bench, LACUNA solves $76.0\%$ of $392$ tasks across four domains with a capable model, on par with the baseline agent.
- Abstract(参考訳): LLMエージェントはますますコードを記述することで振る舞うが、エージェントを駆動するランタイムとモデルが記述するコードの間には分割が持続する。
ランタイムはループ、コンテキスト、制御フローを所有しており、モデルがそのどれかについてほとんど述べていない。
モデル記述されたコードをランタイム自体に組み込むことで、エージェントをより表現力のあるものにするが、安全性の問題も解決する。
モデルは、プロンプトインジェクション、間違ったツールの呼び出し、あるいは部分的に失敗し、一貫性のない状態のままにすることができる。
我々は、安全性を維持しながら、この分割を閉じるエージェントのためのプログラミングモデルであるLACUNAを紹介する。
各エージェントアクションは、型付きコール $\texttt{agent[T](task)}$ で、実行時に LLM がコードで満たされ、コードが実行前に周辺プログラムに対して型チェックされる。
各アクションは全体として受け入れられたり拒否されるため、拒否されたアクションは環境に手を加えず、コンパイラの診断によって再試行される。
同じチェックは、アクションがどのツールやデータを使うか、どのように流れるかも制限する。
我々のプリミティブは、通常の制御フローとしてReActループ、サブエージェント、スキル、並列分解、マルチモデル計画を表現する。
LACUNA は BrowseComp-Plus と $τ^2$-bench の2種類のテストケースで評価した。
BrowseComp-Plusでは、実行前に8.6\%の世代が拒否され、クエリ毎に0.7リトライされ、エージェントは27.1\%の精度に達する。
τ^2$-benchでは、LACUNAは4つのドメインにまたがる392$タスクの76.0\%$を、ベースラインエージェントと同等の有能なモデルで解決する。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering [47.39676953516343]
コーディングエージェントを中心とした開発作業を組織化するためのプラクティスとして,ループエンジニアリングが登場している。
LoopArenaは、1つのモデルが、長時間実行中のタスクを通じて、個別のコーディングエージェントをいかにうまくガイドできるかを評価するためのベンチマークです。
論文 参考訳(メタデータ) (2026-08-28T12:44:54Z) - Long-Horizon State Tracking in LLMs: Executing MD5 through a Deep Sequence of Dependent Tool Calls [0.5097809301149342]
ロングホライゾンタスクは、大きな言語モデル(LLM)評価では珍しくない。
LLMが多数のツールコールにまたがって、正確な中間状態を持てるかどうかをテストする。
モデル自身の推論をそれぞれの順番でコンテキストに保ち、思考可能な労働者に投票してモジュラー・アセスメティックス・スリップを除去する、という2つの要素が成功を決定づける。
論文 参考訳(メタデータ) (2026-08-02T09:38:02Z) - When Does Restricting a Coding Agent to execute_code Help? A Regime $\ imes$ Agent-Design Ablation [20.672156968511587]
合成計算タスクとSWE-bench Mini修正タスクにおける3アームアブレーション(ベースライン/bash_only/code_only)の比較を行った。
結果として得られた4つの(登録、エージェント)細胞全体で、エージェントを1つの execute_code MCP ツールに制限することは、最も安価なツールリッチなライバルである -- あるいは統計的に結びついている -- よりも安価である。
唯一の例外はSWE-bench/Claudeである。
論文 参考訳(メタデータ) (2026-07-12T04:52:08Z) - Confining Nondeterminism: AI-Driven Research Systems as DBMSs for Reliable, Non-Wasteful, Transparent, and Collaborative Research [Vision] [6.1118660156378075]
今日のエージェントループは、エージェントを含む内部状態がチェックできないエグゼキュータである、と私たちは主張する。
LLMの内部を見るのではなく、データベースからレッスンを受けます。
プロジェクトは決定論的でバージョン管理されたデータフローエンジン内にあり、LLMはユーザとともに、その計画だけを編集するコンパイラである。
論文 参考訳(メタデータ) (2026-07-11T23:46:01Z) - AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation [0.18567307896771823]
AgentLensはインタラクティブなコードエージェントのための実運用評価ベンチマークである。
LLMで書かれた軌道レビューとサイド・バイ・サイド比較との形式的検証を組み合わせている。
モデル行動の診断、エージェントの連続したバージョンの比較、夜間評価パイプラインでの製品回帰の取得に使用しています。
論文 参考訳(メタデータ) (2026-07-07T11:27:43Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳(メタデータ) (2026-06-30T06:06:08Z) - CoAgent: Concurrency Control for Multi-Agent Systems [3.127039011380953]
本稿では、古典的なトランザクションに欠ける能力に基づいて制御を構築する。
起動時にシリアライズ順序を修正し、各順序フィルタリングされた値を読み出し、投機的に書き込みを適用する。
オンラインの25ツールライブラリを成長させ、タスクパスレートを45/71から63/71に引き上げる。
論文 参考訳(メタデータ) (2026-06-13T16:15:14Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳(メタデータ) (2026-04-26T16:05:02Z) - ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads? [0.8749675983608171]
実世界の推論タスクでその能力をテストするためのコーディングエージェントのベンチマークであるISO-Benchを紹介する。
統合プルリクエストから54のタスクをキュレートし、測定可能なパフォーマンスを改善しました。
論文 参考訳(メタデータ) (2026-02-23T08:37:53Z) - AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。
各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。
シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
論文 参考訳(メタデータ) (2026-02-03T19:18:28Z) - CodeMem: Architecting Reproducible Agents via Dynamic MCP and Procedural Memory [0.5599792629509229]
現在のツールを使用するAIエージェントは、アクションスペースの制限、コンテキストの非効率性、確率的不安定性に悩まされている。
本稿では,再利用可能なエージェントを決定論的信頼性で構築・実行するために,コードを介して手続き型メモリを実装するアーキテクチャであるCodeMemを提案する。
論文 参考訳(メタデータ) (2025-12-17T11:28:25Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳(メタデータ) (2025-10-13T22:22:28Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳(メタデータ) (2025-05-23T08:23:36Z) - CodeCoR: An LLM-Based Self-Reflective Multi-Agent Framework for Code Generation [10.048098631259876]
コード生成は、自然言語で書かれた要求を自動的に満たすコードを生成することを目的としている。
ChatGPTのような大きな言語モデル(LLM)は、生成されたコードの構文的および意味論的正確性を保証するのに失敗する。
我々は,各エージェントとそのコラボレーションの有効性を評価する,自己表現型マルチエージェントフレームワークであるCodeCoRを提案する。
論文 参考訳(メタデータ) (2025-01-14T03:21:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。