論文の概要: DreamBench-SWE: A Multi-Session Memory-Hygiene Benchmark for Software Agents
- arxiv url: http://arxiv.org/abs/2608.20664v1
- Date: Fri, 21 Aug 2026 01:48:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.338398
- Title: DreamBench-SWE: A Multi-Session Memory-Hygiene Benchmark for Software Agents
- Title（参考訳）: DreamBench-SWE: ソフトウェアエージェントのためのマルチセッションメモリ衛生ベンチマーク
- Abstract要約: 本報告では,当初のスケールドv2フォールドと別々に登録したv2.1の後継監査について報告するが,後継検査の前に凍結した。
当初、DF-ヒブリド--B5のコントラストはヌル(95/180対89/180)、クラスターp=.518、ホルムp=1、等価性の証拠ではなく、C9/C10はB0ヘッドルームの制限を保持していた。
したがって、監査はDreamBench-SWEを識別可能なプロファイルベンチマークとしてサポートしているが、外部システム機構、メモリ保持条件の優越性、等価性、広範製品一般性は確立していない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: DreamBench-SWE is a multi-session benchmark for software-agent memory hygiene in which later software tasks depend on non-inferable evidence from earlier sessions and are scored by executable hidden oracles. We report the original scaled v2 fold and a separately preregistered v2.1 successor audit designed after that study but frozen before successor outcome inspection. The successor run completed 360/360 work units and 720/720 S3 cells across four conditions. In the original fold, the primary DF-hybrid--B5 contrast was null (95/180 versus 89/180; clustered p=.518, Holm p=1), not evidence of equivalence, and C9/C10 retained B0-headroom limitations. In the successor, no external memory achieved 21/180 passes (rate 0.1167), deterministic verbatim event memory 82/180 (rate 0.4556), the typed-plus-raw reference probe 83/180 (rate 0.4611), and one pinned hosted Mem0 literal-storage configuration 97/180 (rate 0.5389). The registered six-slot Family A retained unavailable slots at p=1; all three available comparisons against no memory rejected after Holm correction. Both preregistered mechanism contrasts were unavailable after pre-evaluation conformance rejection. The secondary literal-storage-versus-verbatim comparison was nonconfirmatory and sensitivity-dependent, while the comparison with the reference probe did not reject. The audit therefore supports DreamBench-SWE as a discriminating executable profile benchmark and characterizes one exact hosted-memory configuration, but it does not establish an external-system mechanism, superiority among memory-bearing conditions, equivalence, or broad product generality. The original v2.0.5 findings and artifacts remain unchanged.
- Abstract（参考訳）: DreamBench-SWEは、ソフトウェアエージェントのメモリ衛生に関するマルチセッションベンチマークであり、後のソフトウェアタスクは、初期のセッションからの推論不可能な証拠に依存し、実行可能な隠れオラクルによってスコア付けされる。
本報告では,当初のスケールドv2フォールドと別々に登録したv2.1の後継監査について報告するが,後継検査の前に凍結した。
後継機は4つの条件で360/360作業ユニットと720/720 S3セルを完成させた。
当初、DF-ヒブリド--B5のコントラストはヌル(95/180対89/180、クラスタ化p=.518、ホルムp=1)であり、同値性の証拠はなく、C9/C10はB0ヘッドルームの制限を維持していた。
後継では21/180パス(0.1167)、決定論的冗長イベントメモリ82/180(0.4556)、型付きプラスルー参照プローブ83/180(0.4611)、ホストされた1つのMem0リテラルストレージ構成97/180(0.5389)が達成された。
登録された6スロットのファミリーAは、p=1の未使用スロットを保持しており、ホルム修正後に拒否されたメモリと比較できる。
両者の事前登録機構のコントラストは、事前評価適合拒絶後に利用できなかった。
2次リテラル-ストレージ-ヴァーサス-バーバティム比較は非定型的,感度依存的であったが,基準プローブとの比較は否定しなかった。
したがって、監査はDreamBench-SWEを識別可能なプロファイルベンチマークとしてサポートし、1つの正確なホストメモリ構成を特徴付けるが、外部システム機構、メモリ保持条件、等価性、広範囲な製品一般性は確立していない。
オリジナルの v2.0.5 の発見とアーティファクトは変わっていない。
関連論文リスト
- MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - BeTaL-GBI: Admission-Aware Benchmark Tuning and Full-Stack Verification of Geometric Belief Interfaces [2.894286977279531]
本研究は,企業検証アーキテクチャが要求を監査しつつ,インターフェース障害,タスク能力,ポリシー適合性,整合性を分離できるかどうかを検討する。
BeTaL-GBI v0.2 は LLM-in-the-loop を2,218,750,380 以上のグリッドポイントで適用し、条件付き性能からフォーマットの入力を分離する。
512の総合的なタスクにおいて、16ゲートポリシーは、116の激しい矛盾を全て検出し、99のクリーンレコードを全て受け入れる。幻覚剤とエビデンスフォーガーサロゲートは無音のプロモーションでブロックされる。
論文 参考訳（メタデータ） (2026-08-21T16:52:38Z) - D$^2$ACCI: A Dual-Loop Diagnostic Protocol for Evidence-Preserving Agent Memory [10.177699115336425]
D$2$ACCIプロトコルは、ペア化されたエビデンス、保護されたスライス監視、トレースレベルのローカライズ可能性に基づいて、メモリ介入を促進、機能フラグ、拒否する。
我々はMemStackでプロトコルをインスタンス化し、3つの公開ベンチマークで評価し、LoCoMoで93.59%、LongMemEvalで90.93%、PersonaMem-V2で57.20%を達成した。
論文 参考訳（メタデータ） (2026-08-18T13:18:38Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - MemoryLake on MemoryArena: A Matched Study of Agent Memory Backends [8.130461324371604]
MemoryLakeをMem0、text-embedding-3-small vector RAG、および5つのMemoryArenaドメインの長いコンテキスト制御と比較する。
各バックエンドバンドルは書き込み、検索、統合、予算設定、迅速な組立選択を行うため、この研究は一致したシステムレベルの比較である。
論文 参考訳（メタデータ） (2026-08-14T02:19:26Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳（メタデータ） (2026-07-13T23:13:57Z) - ConvMemory v3: A Validity Context Layer for Conversational Memory via Target-Conditioned Relation Verification [0.0]
ConvMemory v3では、この更新エビデンスを検出し、サーフェスする妥当性コンテキスト層が追加されている。
コアメカニズムは、特定のターゲット命題に関する関係判断を条件とする二重証拠ゲートである。
合成マルチホップ検証ベンチマークでは、ゲートの精度は90.12% +/- 1.73である。
論文 参考訳（メタデータ） (2026-06-25T08:36:43Z) - SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking [39.49925011934288]
SAM2ベースのビジュアルオブジェクトトラッキングにおけるメモリ更新機構を再検討する。
本稿では,SENTRYについて紹介する。
コミットする前に、各メモリ更新を短時間の時間的一貫性で検証する。
論文 参考訳（メタデータ） (2026-06-23T11:35:15Z) - ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。
ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
論文 参考訳（メタデータ） (2026-04-26T20:39:19Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。