論文の概要: Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
- arxiv url: http://arxiv.org/abs/2610.15710v1
- Date: Sun, 11 Oct 2026 15:48:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.238852
- Title: Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
- Title（参考訳）: Suggested is not supersed: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
- Abstract要約: ゲートは、新しい発話が古い記憶されたクレームをリタイアした時を決定する。
このステップのラベルは、変更の有無のペアをマークします。
私たちは2つを分けるタスク契約を書いています。
- 参考スコア（独自算出の注目度）: 0.1492038223487864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term memory for assistants needs a gate that decides when a new utterance retires an old stored claim. Benchmark labels for this step mark a pair as changed or not, so they cannot tell a gate that acts on established change from one that acts on a hint. We write a task contract that separates the two (SUPERSEDED vs. NEEDS-CONFIRMATION vs. COMPATIBLE), label 500 test pairs built from STALE (change pairs plus same-user controls) with three LLM annotators and two human adjudicators (one author and a second annotator; provenance reported), and evaluate Jev, a typed "System One" decision model, under pre-registered hypotheses. Of the 179 test pairs STALE marks as changed, 72 meet the contract's bar for an established change. Jev never retired a claim on 141 same-conversation non-changes. Its failure is premature retirement: the binary gate retires 39.2% of claims whose change is only suggested. A three-way decision cuts this to 15.5% at a 15.3-point detection cost, which misses our pre-registered 10-point budget, and it lands on the binary gate's own threshold frontier; these verdicts hold under three readings of the gold labels. On a held-out vault scored against a second annotator's labels, a cascade that escalated uncertain cases to a reasoning model and looked best on development data was indistinguishable from simply raising the threshold (premature retirement 26.8% vs. 6.5% on dev). Part of the gap comes from the gold labels: relative to that annotator's reading, LLM-majority gold shares most of its errors with a same-family escalation model, and an identity for binary labels says how much such shared errors hide. The rest is small-sample selection on development data. For builders this means a binary score should not be wired to delete: route suggested changes to pending evidence, and do not trust a cascade selected on development data of this size.
- Abstract（参考訳）: アシスタントの長期記憶には、新しい発話が古い記憶されたクレームをリタイアするタイミングを決定するゲートが必要である。
このステップのベンチマークラベルは、ペアが変更されるかどうかを示すので、ヒントに作用するものから確立した変更に作用するゲートを区別することはできない。
STALE (change pairs and same-user control) と LLM annotator と human adjudicator (one author and a second annotator; provenance reported) の2つを分離したタスク契約書(SUPERSEDED vs. NEEDS-CONFIRMATION vs. COMPATIBLE, label 500 test pairs built with 3 LLM annotator and two human adjudicator (one author and a second annotator; provenance reported) を作成し、事前登録された仮説の下で、型付き"System One"決定モデルであるJevを評価する。
179つのテストペアのうち、STALEマークは変更され、72は、確立された変更のために契約のバーに適合する。
ジェフは141件の非交換に関する主張を断念した。
その失敗は早期退職であり、二分門は変更だけが示唆されるクレームの39.2%をリタイアする。
3方向決定は15.3ポイントの検知コストで15.5%に削減され、これは事前登録された10ポイントの予算を逃し、二分門のしきい値フロンティアに着地する。
第2のアノテータのラベルに対して得点されたホールドアウト金庫には、不確実なケースを推論モデルにエスカレートし、開発データに最善を尽くしたカスケードが、単に閾値を上げるのと区別できない(初期退職率26.8%対開発6.5%)。
LLM-majority Goldは、ほとんどのエラーを同じ家族のエスカレーションモデルで共有し、バイナリラベルのIDは、そのような共有エラーがどれだけ隠されているかを示しています。
残りは、開発データに対する小さなサンプル選択である。
ビルダーにとってこれは、バイナリスコアを削除するために配線するべきではないことを意味している。 ルートは、保留中のエビデンスの変更を推奨し、このサイズの開発データで選択されたカスケードを信頼しない。
関連論文リスト
- Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate [0.0]
自己改善型LLMエージェントは、クレジットパイプラインを変更ルールに適合させることができるが、書き換えるエージェントは、管理者レビューの成果物を破壊する。
自己進化は、ハーネスに限られている場合のみ、レビュー可能であると我々は主張する。
このバウンダリ上に構築されたデュアルループエンジンに,デプロイメント前にハッシュチェーンレコードを記述した入力ゲートをひとつ用意しています。
論文 参考訳（メタデータ） (2026-10-07T12:33:48Z) - SAGE: A Statistical Acceptance Gate for Self-Evolving Agents [17.727663090075463]
自己進化型エージェント(SAGE)の統計的受容ゲートを提案する。
SAGEはベースラインの編集のサブセットのみをコミットし、利得が信頼できないものや、壊れたアイテムによって購入されるものをフィルタリングする。
全20セットで最高得点を記録し、LiveMathは34.15から48.78に上昇した。
論文 参考訳（メタデータ） (2026-09-28T18:07:45Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳（メタデータ） (2026-09-27T13:01:02Z) - IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳（メタデータ） (2026-09-09T17:31:29Z) - PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。
本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。
PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
論文 参考訳（メタデータ） (2026-09-07T19:21:49Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Reward-Free Evolving Agents via Pairwise Validator [12.6053820984668]
自己進化型エージェントループは、エージェントの微調整されたバージョンを何度も提案する。
項目ごとの品質信号に基づいて変更を受理または拒否する。
本稿では,アクセプション/リジェクトゲートのスカラーをペアワイズ検証器で置き換えることを提案する。
論文 参考訳（メタデータ） (2026-07-15T22:50:32Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。