論文の概要: The LLMbda Calculus: AI Agents, Conversations, and Information Flow
- arxiv url: http://arxiv.org/abs/2602.20064v1
- Date: Mon, 23 Feb 2026 17:22:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.923057
- Title: The LLMbda Calculus: AI Agents, Conversations, and Information Flow
- Title(参考訳): LLMbdaの計算:AIエージェント、会話、情報フロー
- Authors: Zac Garby, Andrew D. Gordon, David Sands,
- Abstract要約: 大きな言語モデル(LLM)との会話は、計算プロンプトと応答のシーケンスである。
プランナーループは、ILMコールをツール呼び出しとコード実行でインターリーブする。
会話に注入された悪意のあるプロンプトは、後続の推論を妥協したり、危険なツールコールをトリガーしたり、最終的な出力を歪ませたりすることができる。
- 参考スコア(独自算出の注目度): 2.28946649894896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A conversation with a large language model (LLM) is a sequence of prompts and responses, with each response generated from the preceding conversation. AI agents build such conversations automatically: given an initial human prompt, a planner loop interleaves LLM calls with tool invocations and code execution. This tight coupling creates a new and poorly understood attack surface. A malicious prompt injected into a conversation can compromise later reasoning, trigger dangerous tool calls, or distort final outputs. Despite the centrality of such systems, we currently lack a principled semantic foundation for reasoning about their behaviour and safety. We address this gap by introducing an untyped call-by-value lambda calculus enriched with dynamic information-flow control and a small number of primitives for constructing prompt-response conversations. Our language includes a primitive that invokes an LLM: it serializes a value, sends it to the model as a prompt, and parses the response as a new term. This calculus faithfully represents planner loops and their vulnerabilities, including the mechanisms by which prompt injection alters subsequent computation. The semantics explicitly captures conversations, and so supports reasoning about defenses such as quarantined sub-conversations, isolation of generated code, and information-flow restrictions on what may influence an LLM call. A termination-insensitive noninterference theorem establishes integrity and confidentiality guarantees, demonstrating that a formal calculus can provide rigorous foundations for safe agentic programming.
- Abstract(参考訳): 大型言語モデル(LLM)との会話は、先行する会話から各応答が生成されるプロンプトと応答のシーケンスである。
AIエージェントは、このような会話を自動的に構築する。最初の人間のプロンプトが与えられたら、プランナーループがILMコールをツール呼び出しとコード実行でインターリーブする。
この密結合は、新しくよく理解されていない攻撃面を生み出す。
会話に注入された悪意のあるプロンプトは、後続の推論を妥協したり、危険なツールコールをトリガーしたり、最終的な出力を歪ませたりすることができる。
このようなシステムの中央集権性にもかかわらず、我々は現在、その行動と安全性を推論するための原則的な意味基盤を欠いている。
本稿では,動的情報フロー制御に富んだ非型付きコール・バイ・バリューラムダ計算と,迅速な対話を構築するための少数のプリミティブを導入することで,このギャップに対処する。
私たちの言語には、LLMを呼び出すプリミティブが含まれています。それは、値をシリアライズし、プロンプトとしてモデルに送信し、レスポンスを新しい用語として解析します。
この計算はプランナーループとその脆弱性を忠実に表現している。
セマンティクスは会話を明示的にキャプチャするので、隔離されたサブ会話、生成されたコードの分離、LLM呼び出しに影響を与える可能性のある情報フローの制限などの防御に関する推論をサポートする。
終端無感な非干渉定理は完全性と機密性の保証を確立し、形式的な計算が安全なエージェントプログラミングのための厳密な基礎を提供することを示した。
関連論文リスト
- In-Context Autonomous Network Incident Response: An End-to-End Large Language Model Agent Approach [3.733830491643117]
我々は,大規模言語モデルの事前訓練されたセキュリティ知識とコンテキスト内学習を活用して,インシデント対応計画のためのエンドツーエンドのエージェントソリューションを作成することを提案する。
具体的には、認識、推論、計画、行動の4つの機能を1つの軽量LCM(14bモデル)に統合する。
我々のエージェントは、フロンティアLSMよりも最大で23%早く回復できる。
論文 参考訳(メタデータ) (2026-02-13T18:09:30Z) - SecInfer: Preventing Prompt Injection via Inference-time Scaling [54.21558811232143]
emphSecInferは,インセンジェンス時間スケーリングに基づくインジェクション攻撃に対する新しい防御法である。
SecInferは、既存のインジェクション攻撃と適応的なインジェクション攻撃の両方を効果的に軽減し、最先端の防御と既存の推論時間スケーリングアプローチより優れていることを示す。
論文 参考訳(メタデータ) (2025-09-29T16:00:41Z) - Thinking Before You Speak: A Proactive Test-time Scaling Approach [54.8205006555199]
emphThinking Before You Speak (TBYS)という名前の推論フレームワークとして、私たちのアイデアを実装しています。
インテリジェンス生成のためのコンテキスト内サンプルを自動的に収集・フィルタリングするパイプラインを設計する。
挑戦的な数学的データセットの実験は、TBYSの有効性を検証する。
論文 参考訳(メタデータ) (2025-08-26T03:43:32Z) - Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models [0.0]
本稿では, 忠実な幻覚を検出するための新しい枠組みであるセマンティック・ディバージェンス・メトリックス(SDM)を紹介する。
プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。
論文 参考訳(メタデータ) (2025-08-13T20:55:26Z) - Conversational Complexity for Assessing Risk in Large Language Models [8.552688712751232]
大規模言語モデル(LLM)は、有害な可能性を秘めつつ、有益なアプリケーションを可能にする。
2023年、ジャーナリストのケビン・ルース(Kevin Roose)がLLMの検索エンジンであるBingと対話した。
LLMから有害な情報を引き出すには、どの程度の会話努力が必要か?
本稿では,会話長(CL)と会話複雑度(CC)の2つの尺度を提案する。
論文 参考訳(メタデータ) (2024-09-02T13:29:44Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z) - Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。
以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。
本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
論文 参考訳(メタデータ) (2022-06-06T22:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。