論文の概要: Beyond Update Counts: A Control Map for Evaluating Test-Time Model Updates

• arxiv url: http://arxiv.org/abs/2610.36109v1
• Date: Mon, 26 Oct 2026 18:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.400089
• Title: Beyond Update Counts: A Control Map for Evaluating Test-Time Model Updates
• Title（参考訳）: アップデート数を超えて:テスト時間モデル更新を評価するコントロールマップ
• Abstract要約: テスト時の更新により、トレーニング後に言語モデルが永続的な状態を変更することができる。 既存の評価では、更新数や頻度、その後すぐに測定された性能などのシステムを比較することが多い。 得られた回答に先立ってコミットされた更新を記録する評価フレームワークであるControlMapを紹介します。
• 参考スコア（独自算出の注目度）: 19.834682163250857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time updating lets a language model change persistent state after training---such as model weights, adapter parameters, or a memory module---before or while answering queries. Existing evaluations often compare systems using update count or frequency and performance measured immediately afterward. These summaries omit what is updated, where, when, and in what order. The same total can therefore hide an important difference: one system may answer after one update while another answers after two. We introduce the Control Map, an evaluation framework that records the committed updates preceding each scored answer and separately evaluates behavioral changes, immediate learning (acquisition), later recall (retention), preservation of unrelated behavior (locality), and performance in new settings. We prove when counts alone determine final state and show, under stated assumptions, how differences between pre-answer histories limit differences in average scores. Using ControlMap, our experiments reveal three insights. First, update scheduling matters: at a 760M-parameter checkpoint, 24 schedules with the same update count yield 19.7%--34.2% accuracy. Second, learning an edit does not guarantee that it lasts or remains contained: all six selected CounterFact LoRA settings learn the new information, while ROME retains edits at all 13 operating points but fails locality at each. Third, no editor performs best consistently across models, benchmarks, and tests. Evaluations should therefore report update histories and assess acquisition, retention, and locality separately.
• Abstract（参考訳）: テストタイムの更新により、トレーニング後の言語モデルでは、モデルウェイトやアダプタパラメータ、メモリモジュールなど、クエリの前後で永続的な状態を変更できる。 既存の評価では、更新数や頻度、その後すぐに測定された性能などのシステムを比較することが多い。 これらの要約は、更新されるもの、場所、時期、順序を省略する。 1つのシステムが1回の更新後に答え、もう1つのシステムが2回の更新後に答える。 我々は,各回答に先行するコミット更新を記録し,行動変化,即時学習(取得),後のリコール(保持),非関連行動(局所性)の保存,新たな設定におけるパフォーマンスを別々に評価する評価フレームワークであるコントロールマップを導入する。 我々は、カウントだけで最終状態が決定され、前提条件の下では、問合せ前の履歴の違いが平均スコアの差を制限するかを示す。 ControlMapを使って、我々の実験は3つの洞察を明らかにした。 まず、更新スケジュールが問題となる: 760Mパラメータのチェックポイントでは、同じ更新数で24のスケジュールが19.7%--34.2%の精度で更新される。 選択した6つのCounterFact LoRA設定はすべて新しい情報を学習する一方、ROMEは13のオペレーティングポイントすべてで編集を保持するが、それぞれのローカリティは失敗する。 第3に、モデル、ベンチマーク、テストで最高の一貫性を持つエディタは存在しない。 したがって、評価は更新履歴を報告し、取得、保持、および局所性を別々に評価する必要がある。

関連論文リスト

• Checkpoint Reload Explains Most of the Measured State Gap in Two State Discovery Reproductions [0.614481021961242]
  トレーニング中にシーケンス毎の潜伏状態を維持する一時的なモデルは、推論時に格納されたテーブルが利用できないときに、それらの状態を再構築する必要がある。 本研究では,世界機械におけるステートディスカバリー(State Discovery in World Machine)の課題について検討する。これは各エポック毎に並列に保存された状態を更新するが,全ゼロスタートからの逐次ロールアウトによる推論を行う。
  論文  参考訳（メタデータ） (2026-10-26T06:12:08Z)
• ReplayLens: Auditing Agents' Use of Outcomes [16.745093090677475]
  エージェントがログ化された経験を再利用すると、変更した決定は記録されたスコア、アクション名、記憶中のレコードの位置を反映する。 ReplayLensは、保存された履歴の1つの関係を一度に変更し、残りのインターフェイスを固定し、その結果の判断を計測するブラックボックス監査である。
  論文  参考訳（メタデータ） (2026-09-28T02:56:32Z)
• COUNTERMEM: World-Model Verified Counter-Factual Memory for Language Agents [40.59788210629839]
  COUNTERMEMは、タスク間で検証済みの反ファクトメモリの構築と使用のための強化学習フレームワークである。 動作が失敗した後、COUNTERMEMは元の状態のコピーまたはリセットからローカル代替品を評価する。 オリジナルと修正されたアクション、チェック結果、再利用条件の改善を格納する。
  論文  参考訳（メタデータ） (2026-09-25T18:12:38Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
  VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。 本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。 完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
  論文  参考訳（メタデータ） (2026-03-14T14:38:53Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• Language Modeling with Editable External Knowledge [90.7714362827356]
  本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。 ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。 7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:35Z)
• WikiFactDiff: A Large, Realistic, and Temporally Adaptable Dataset for Atomic Factual Knowledge Update in Causal Language Models [3.6921454547718784]
  ウィキファクトディフ(WikiFactDiff)は、2つの日付間の事実知識の進化を記述したデータセットである。 これら3つの基本更新の様々な組み合わせから生じるいくつかの更新シナリオについて述べる。
  論文  参考訳（メタデータ） (2024-03-21T12:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。