論文の概要: When Does Experience Memory Help Closed-Loop LLM Driving Agents? A Controlled Evaluation with Resampled Warmup Pools, Token-Matched Fillers, and Audited Baselines
- arxiv url: http://arxiv.org/abs/2610.27714v1
- Date: Tue, 20 Oct 2026 06:31:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.674655
- Title: When Does Experience Memory Help Closed-Loop LLM Driving Agents? A Controlled Evaluation with Resampled Warmup Pools, Token-Matched Fillers, and Audited Baselines
- Title（参考訳）: 体験記憶はLLM運転エージェントにいつ役立つか? : ウォームアッププール, トケンマッシュフィラー, 監査ベースラインを用いた制御評価
- Abstract要約: 我々はウォームアッププールを再サンプリングランダム要因として扱う(10個の解離プール)。
トークンにマッチした無関係なフィラーコントロール、オラクル認証診断、警告価格メトリクス、ベースラインポートの定量監査を追加します。
プローブスイートは、フラットテキスト検索(DiLuポート)、シングルフレームグリッドポート(RESPONDにインスパイアされた)、エピソード時間表メモリ、検索不要の統合ルールブック、フラットKステップ観測履歴ベースラインにまたがる。
- 参考スコア（独自算出の注目度）: 0.4493507573183108
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When does experience memory help a closed-loop LLM driving agent? Published gains cannot say, because the two factors we find to matter most, which warmup experiences the pool contains and what any injected tokens do to the prompt, are controlled in none of them. We answer with a controlled evaluation on one audited HighwayEnv testbed (1Hz, gpt-4o-mini for the decisive contrasts). We treat the warmup pool as a resampled random factor (ten disjoint pools) and add token-matched irrelevant-filler controls, oracle-certified diagnostics, caution-pricing metrics, and quantified audits of the baseline ports. The probe suite spans flat-text retrieval (a DiLu port), a single-frame grid port (RESPOND-inspired), our episodic temporal-graph memory, a retrieval-free consolidated rulebook, and a flat K-step observation-history baseline. Four findings follow, each a property of this testbed. (1) Headline memory gains belong to the warmup draw. The reported pool is the best of ten for both retrieval memories, which beat No-Memory in only one pool of ten (sign test p=0.011), and even the rulebook's apparent pool-immunity collapsed on five fresh draws. (2) No retrieval design tested exceeds token-matched filler. The collision-only merge ceiling is reached by a single 15-token caution instruction, and metrics that price caution erase the rulebook's lead. (3) Representational sophistication is nowhere robustly operative. (4) Baseline port quality silently inverts conclusions. On this testbed, a single-pool comparison without filler controls would have reported memory gains that these controls reverse. We release the testbed, audited ports, seeds, and caches.
- Abstract（参考訳）: 体験記憶は閉ループLCM駆動エージェントにいつ役立つのか?
プールが持つウォームアップ体験と、インジェクションに注入されたトークンが何をするかという2つの要因が、いずれも制御されないため、発行された利得は言えない。
1Hz, gpt-4o-mini, gpt-4o-miniで評価した。
ウォームアッププールを再サンプリングされたランダムファクタ(10個の不整合プール)として扱い,トークンにマッチした無関係充足制御,オラクル認証診断,警告価格測定,ベースラインポートの定量監査を加えた。
プローブスイートは、フラットテキスト検索(DiLuポート)、シングルフレームグリッドポート(RESPONDにインスパイアされた)、エピソード時間グラフメモリ、検索不要の統合ルールブック、フラットKステップ観測履歴ベースラインにまたがる。
4つの結果が得られ、それぞれがテストベッドの特性である。
1) ヘッドラインメモリ利得はウォームアップドローに属する。
レポートされたプールは、両方の検索メモリにとってベスト10で、No-Memoryをわずか1つのプール(サインテストp=0.011)で打ち負かし、ルールブックの明らかなプール免疫でさえ、5つの新しい引き分けで崩壊した。
2) 試験された検索設計は, トークンマッチングフィラーを超えない。
衝突のみのマージ天井は、単一の15トークンの警告命令によって到達し、価格に注意する指標によってルールブックのリードが消去される。
(3)表現の高度化は、十分に機能するものではない。
(4) ベースラインポートの品質は静かに結論を覆す。
このテストベッドでは、フィラー制御のないシングルプール比較では、これらの制御が逆になるメモリゲインが報告される。
テストベッド、監査されたポート、シード、キャッシュをリリースします。
関連論文リスト
- Auditing LLM Program Search for Bermudan Stopping with Primal--Dual Certificates [37.843374584522294]
ベルムダンオプションのためのPythonのエクササイズポリシーをLLMで探索する。
いずれのポリシーに対しても、0 le Vstar - L_le U - L_$; モンテカルロによる両方の境界の推定をサンプリング誤差で報告する。
論文 参考訳（メタデータ） (2026-10-07T09:00:25Z) - Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation [5.114361110970449]
本報告では, 汚染の主張を, 支援に必要な証拠に応じて識別する, 測定ファーストの監査フレームワークを提案する。
本稿では,SWE-bench Verified上でのファイルローカライズギャップを報告した。
結果は、トレーニングデータメンバーシップ、汚染率、ベンチマークによるスコアインフレーションを確立しない。
論文 参考訳（メタデータ） (2026-10-05T05:34:18Z) - COUNTERMEM: World-Model Verified Counter-Factual Memory for Language Agents [40.59788210629839]
COUNTERMEMは、タスク間で検証済みの反ファクトメモリの構築と使用のための強化学習フレームワークである。
動作が失敗した後、COUNTERMEMは元の状態のコピーまたはリセットからローカル代替品を評価する。
オリジナルと修正されたアクション、チェック結果、再利用条件の改善を格納する。
論文 参考訳（メタデータ） (2026-09-25T18:12:38Z) - TWIST: A Proposed Benchmark for Intervention Quality in Conversational Memory, with a Human-Validated Draft-Alignment [0.0]
TWISTは、補完的かつ未測定なプロパティ、介入品質のためのベンチマークスイートである。
4つのトラックは、未解決の緊張検知をカバーし、現在の信念に応えて、記録に反するドラフトを検証している。
システムTWISTプロファイルはリコールスコアの他に、メモリがいつ介入すべきかを計測する。
論文 参考訳（メタデータ） (2026-09-23T12:25:28Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - Selection-Aware Stress Testing for Interactive Agents [40.135301960368906]
SASSTは、発見タスクの事前実行機能からタスクの重み付けを学習し、別個の確認タスクで同じペア比較を評価する。
プロトコルはサポートと安定性をチェックし、計画されたすべてのクレームにジョイントバウンドを使用し、クレームを返さない。
論文 参考訳（メタデータ） (2026-08-31T14:58:04Z) - GLEAN: Grounded Lightweight Evaluation Anchors for Contamination-Aware Tabular Reasoning [0.5414847001704249]
本稿では, 汚染対応プローブ, 弱スーパービジョンガバナンス, 検索推論診断, 構造化エラー属性を統合する軽量な評価プロトコルを提案する。
我々は16GBのGPU予算でTabFact、WTQをSquall、TableBench、RobuT、SciTabで評価した。
論文 参考訳（メタデータ） (2026-01-22T13:56:19Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique [36.96848724920411]
我々は、見えないUnicode文字を文書に埋め込むテキスト保存型透かしフレームワークを導入する。
我々は50の文書を微調整した後の応答を検出する際に0.1%未満の失敗率を実験的に観察した。
100%TPR@0% FPRに対応する18,000以上の課題において、突発的な回答は得られなかった。
論文 参考訳（メタデータ） (2025-10-07T08:34:08Z) - Detecting LLM-Generated Peer Reviews [37.51215252353345]
大規模言語モデル(LLM)の台頭は、一部のレビュアーが独立して記述するのではなく、レビューを生成するためにこれらのツールに依存するのではないかという懸念を提起している。
論文のPDFを通じて間接的インジェクションを行うアプローチを考察し,LLMが生成したレビューに隠された透かしを埋め込むよう促す。
本稿では,複数のレビューにまたがって家族的誤り率を制御し,標準的な修正よりも高い統計力を実現する透かし方式と仮説テストを導入する。
論文 参考訳（メタデータ） (2025-03-20T01:11:35Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。