論文の概要: AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents
- arxiv url: http://arxiv.org/abs/2607.02255v1
- Date: Thu, 02 Jul 2026 14:44:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.874965
- Title: AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents
- Title（参考訳）: AgenticSTS: 長距離LDMエージェントのための境界メモリテストベッド
- Authors: Xiangchen Cheng, Yunwei Jiang, Jianwen Sun, Zizhen Li, Chuanhao Li, Xiangcheng Cao, Yihao Liu, Fanrui Zhang, Li Jin, Kaipeng Zhang,
- Abstract要約: 長期 LLM エージェントの記憶は、将来の決定が何を見るかに関する契約である。
すべての決定は、型付き検索によって組み立てられた新鮮なユーザメッセージからなされます。
Slay the Spire 2はクローズドルールのデッキビルディングゲームだ。
- 参考スコア（独自算出の注目度）: 34.450981549319266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.
- Abstract（参考訳）: 長期 LLM エージェントの記憶は、将来の決定が何を見るかに関する契約である。
最も単純なコントラクトは、過去の観測、ツールコール、リフレクションをすべてのプロンプトに付加するので、事前のコンテキストにアクセスしやすくすると同時に、単一のメモリコンポーネントの影響を分離しにくくする混成体へと変換する。
すべての決定は、型付き検索によって組み立てられた新鮮なユーザメッセージからなされ、生のクロス・ディクジョン・トランスクリプトは付加されない。
したがってプロンプトは任意の長さのランにまたがってバウンドされ、任意の単一層を分離して分離することができる。
スレイ・ザ・スパイア2(Slay the Spire 2)は、クローズドルールの確率的デッキビルディングゲームで、数百の戦術的および戦略的な決定を必要とする。
同じゲーム上のフロンティアLEMのオンラインベンチマークでは、5つの構成で最低の難易度でゼロの勝利を報告し、同じ難易度で開発者によって報告された人間の勝利率は16%であり、タスクは困難だが飽和していない。
我々のハーネス内では、ノストアベースラインが3/10のゲームに勝利し、スキル層6/10を追加するという、トリガ戦略スキルを有効にする際の最大観測差が固定A0アブレーションによって示される。
このサンプルサイズでは、比較は統計的に決定的ではなく方向的である(Fisher exact p\approx0.37)。
298の完成トラジェクトリには条件タグ、フリーズメモリ/スキルスナップショット、プロンプトレコード、分析スクリプト -- エージェント設計と、明示的なメモリ層がロングホライゾンLSM-エージェントの決定をどのように形成するかを研究するための再利用可能な方法論である。
関連論文リスト
- When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents [0.0]
長い答えのLSMエージェントは静かに失敗する可能性があり、彼らは証拠を早期に読み上げ、残りの期間をその証拠を守るのに費やした。
我々は、表現的コミットメントを、固定された推論ステップにおいて、クロスランな隠れ状態収束として定義する。
ランタイムモニタは、AUROCの隠れ状態から0.97までの不整合軌道を検出する(より厳密なスプリットの下で0.85-0.88)。
論文 参考訳（メタデータ） (2026-06-22T07:13:13Z) - Entity-Collision: A Stratified Protocol for Attributing Retrieval Lift in Agent Memory [0.0]
エンドツーエンドのエージェント-メモリベンチマークでは、レトリバー毎に単一の hit@k が報告されている。
本稿では,BM25フロアを構造的に固定するシステムに依存しないプロトコルであるエンティティ・コリジョンを提案する。
論文 参考訳（メタデータ） (2026-05-28T09:02:48Z) - AEL: Agent Evolving Learning for Open-Ended Environments [43.56685432981852]
本稿では,この障害に対処する2段階のフレームワークであるemphAgent Evolving Learning (ael)を紹介する。
ael はシャープ比 2.13$pm$0.47 を達成し、5つの自己改善法を上回ります。
これは、エージェントの自己改善におけるボトルネックが、アーキテクチャの複雑さを追加するのではなく、経験の使い方を自覚していることを示している。
論文 参考訳（メタデータ） (2026-04-23T14:29:25Z) - Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms [0.0]
CSTM-Benchは、キルチェーンステージとクロスセッション操作によって分類された26の実行可能な攻撃である。
Hugging FaceでIntrinsec-ai/cstm-benchとしてリリースされた。
論文 参考訳（メタデータ） (2026-04-22T22:40:31Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳（メタデータ） (2026-03-28T18:03:32Z) - AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management [47.49917373646469]
既存の防御は肥大した記憶を与えられたまま扱い、回復力を維持することに集中する。
我々は、明示的なメモリ管理を通じて間接的なインジェクションを防御するフレームワークであるAgentSysを紹介する。
論文 参考訳（メタデータ） (2026-02-07T06:28:51Z) - EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents [52.567469286881426]
本稿では,対話型ゲームによるエージェントの長期記憶評価のためのプログラムベンチマークEMemBenchを紹介する。
固定された質問セットを使う代わりに、EMemBenchは各エージェント自身の軌道から質問を生成する。
各テンプレートは、下層のゲーム信号から検証済みの真理を計算する。
論文 参考訳（メタデータ） (2026-01-23T12:09:59Z) - A BERTology View of LLM Orchestrations: Token- and Layer-Selective Probes for Efficient Single-Pass Classification [2.0069888187253615]
生産LLMシステムは、安全と他の分類の重いステップのために、しばしば別々のモデルに依存している。
代わりに、私たちはLLMによって既に支払われた計算を再利用し、隠れた状態の軽量プローブを訓練し、生成に使用する同じ前方パスでラベルを予測する。
論文 参考訳（メタデータ） (2026-01-19T18:40:29Z) - Memory Injection Attacks on LLM Agents via Query-Only Interaction [49.14715983268449]
我々は,攻撃者がエージェントのメモリバンクを直接変更できると仮定することなく,新たなメモリインジェクション攻撃(MINJA)を提案する。
攻撃者は、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入する。
MINJAは、任意のユーザがエージェントメモリに影響を与え、リスクを強調します。
論文 参考訳（メタデータ） (2025-03-05T17:53:24Z) - WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。
本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。
我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
論文 参考訳（メタデータ） (2024-06-19T20:13:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。