論文の概要: When Code Becomes an LLM Call: An Empirical Study of Call-Site Contracts in Agentic Systems

• arxiv url: http://arxiv.org/abs/2610.24545v1
• Date: Sat, 17 Oct 2026 08:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:45:30.900917
• Title: When Code Becomes an LLM Call: An Empirical Study of Call-Site Contracts in Agentic Systems
• Title（参考訳）: LLMコールがコードになる:エージェントシステムにおけるコールサイト契約の実証的研究
• Abstract要約: エージェントシステムは、次のツールを選択するなどのロジックの一部を、大きな言語モデル(LLM)を呼び出すことで置き換える。 保証は、プレコンディション、プロンプト制約、ポストコンディションの契約として、各LSMコールサイトのプログラムから得られなければならない。 オープンソースエージェントシステム40の496 LLMコールサイトにおいて,これらの契約について実証的研究を行った。
• 参考スコア（独自算出の注目度）: 35.592602729961754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software quality has long rested on specifications that state what code must do, and on testing and verification that check that the code does it. Agentic systems change this foundation: they replace parts of their logic, such as choosing the next tool, judging whether an action is allowed, or writing code to run, with calls to a large language model (LLM). The program still relies on what this logic must guarantee, but the model's behavior is not fixed by code, varies across runs, and can be steered by its input. The guarantee must therefore come from the program around each LLM call site, as a contract of pre-conditions, prompt constraints, and post-conditions. We present an empirical study of these contracts in 496 LLM call sites of 40 popular open-source agentic systems (13.4 MLOC, four languages). Using a multi-agent pipeline validated by 17,428 human judgments, we trace where every model output flows, derive an expected contract for each call site without access to its code, and compare it with the contract that the code implements. We find that 48% of LLM outputs reach control flow or execution, and 73% of these never reach a person. Programs enforce 78% of their constraints in code, but in the prompt, 67% of the constraints are only requested from the model. Although 82% of call sites are checked before and after the call, 63% of the expected constraints are unmet and only 5.3% of call sites satisfy their whole contract; ten recurring patterns explain 99% of the gaps. 38 mechanisms behind these gaps trigger at runtime, and a small code fix that enforces the expected constraint stops all 38. Our results show that the presence of checks says little about their adequacy, and we derive implications for agent developers, framework maintainers, and researchers.
• Abstract（参考訳）: ソフトウェアの品質は、コードが何をすべきかを記述した仕様と、コードが実行しているかどうかをチェックするテストと検証に長い間かかっています。 エージェントシステムは、次のツールを選択する、アクションが許可されているかどうかを判断する、あるいは実行するコードを書く、といったロジックの一部を、大きな言語モデル(LLM)への呼び出しで置き換える。 プログラムは、このロジックが保証しなければならないものに依存しているが、モデルの振る舞いはコードによって固定されておらず、実行毎に異なり、入力によって制御される。 したがって、保証は、プレコンディション、プロンプト制約、ポストコンディションの契約として、各LSMコールサイトのプログラムから得られなければならない。 我々は,40のオープンソースエージェントシステム (13.4 MLOC, 4言語) の496 LLMコールサイトにおいて,これらの契約について実証的研究を行った。 17,428人の判断で検証されたマルチエージェントパイプラインを使用して、すべてのモデル出力のフローをトレースし、コードにアクセスせずに各呼び出しサイトの期待されるコントラクトを導出し、コードを実装したコントラクトと比較します。 LLM出力の48%が制御フローや実行に到達し、そのうち73%が人には届かないことがわかった。 プログラムはコード内の制約の78%を強制するが、プロンプトでは、制約の67%はモデルからのみ要求される。 コールサイトの82%は、呼び出し前後でチェックされるが、期待される制約の63%は未完成であり、コールサイトの5.3%のみが契約全体を満たす。 これらのギャップの背後にある38のメカニズムが実行時にトリガーされ、期待される制約を強制する小さなコード修正が38のすべて停止する。 その結果、チェックの存在は、その妥当性についてはほとんど言及せず、エージェント開発者、フレームワークメンテナ、研究者に影響を及ぼすことが示された。

関連論文リスト

• Maat: Independent Deterministic Contract-Based Governance for Multi-Agent LLM Workflows [0.0]
  私たちは、バージョン管理されたワークフロー契約アンカーに対してエージェントからエージェントへのハンドオフを検証するランタイムガバナンス層であるMaatを紹介します。 データレベルの欠陥を注入した6つの制御ドメイン(6～15エージェント、522トライアル)と決定論的7チェックルーブリックで評価した。
  論文  参考訳（メタデータ） (2026-09-27T23:23:52Z)
• Regression Accumulation in Multi-Turn LLM Programming Conversations [25.94870617800846]
  回帰累積は6つのモデルにまたがる 後続のコードが以前の要件と競合するクロスTurn Conflictは、主要な障害クラスである。 検証ゲートは、すべてのモデルを一貫して改善する唯一の戦略である。
  論文  参考訳（メタデータ） (2026-07-02T08:15:40Z)
• Local LLM Agents as Vulnerable Runtimes:A Source-Code Audit of the Agent Runtime Layer [19.371045551006304]
  OpenClawやNanobotといったローカルLLMエージェントはエンドユーザマシン上で動作し、ホストリソースで動作します。 CLAWAUDITは、ローカルエージェントランタイムにおける脆弱性の暴露を測定するための静的監査フレームワークである。 事前のライブコード監査では、これらのリコール指向のルールは手作業によるトリアージを必要とし、本番デプロイメント前にセマンティックフィルタリングを動機付けている。
  論文  参考訳（メタデータ） (2026-06-19T03:40:00Z)
• Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
  大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
  論文  参考訳（メタデータ） (2026-05-07T13:52:59Z)
• CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
  複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。 ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。 ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
  論文  参考訳（メタデータ） (2026-03-16T14:05:13Z)
• Programming over Thinking: Efficient and Robust Multi-Constraint Planning [54.77940831026738]
  SCOPEは、クエリ固有の推論をジェネリックコード実行から切り離すフレームワークである。 SCOPEは、コストとレイテンシを下げながら最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-14T02:58:07Z)
• A Hierarchical and Evolvable Benchmark for Fine-Grained Code Instruction Following with Multi-Turn Feedback [30.446511584123492]
  大規模言語モデル(LLM)はコード生成において著しく進歩しているが、階層化され多様な制約を持つ複雑なプログラミング命令に従う能力はいまだ探索されていない。 複数次元にわたるコード生成における命令追従の評価を目的とした総合ベンチマークであるMultiCodeIFを紹介する。 我々は14のプログラミング言語から得られた2,021のコードタスクを合成し、進化させ、フィードバック駆動型タスク変種によるマルチターン評価をサポートする。
  論文  参考訳（メタデータ） (2025-07-01T11:51:40Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• Towards Exception Safety Code Generation with Intermediate Representation Agents Framework [54.03528377384397]
  大規模言語モデル(LLM)は、しばしば生成されたコードの堅牢な例外処理に苦しむ。 中間表現(IR)アプローチにより,LLM生成コードの例外安全性を実現する新しいマルチエージェントフレームワークであるSeekerを提案する。 Seekerは例外処理をScanner, Detector, Predator, Ranker, Handlerの5つの特殊エージェントに分解する。
  論文  参考訳（メタデータ） (2024-10-09T14:45:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。