論文の概要: On Scope Classification and Current Knowledge-Editing Benchmarks: A Negative Result, with INLAY as a Gradient-Free Case Study
- arxiv url: http://arxiv.org/abs/2608.26292v1
- Date: Wed, 26 Aug 2026 18:16:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.143007
- Title: On Scope Classification and Current Knowledge-Editing Benchmarks: A Negative Result, with INLAY as a Gradient-Free Case Study
- Title（参考訳）: スコープ分類と現在の知識編集ベンチマークについて--INLAYをケーススタディとして-
- Abstract要約: INLAYは、クエリごとの正確な真実を得るために作られた勾配のないエディタである。
我々は3つのデータセットと3つの入力条件にまたがる1,689のクエリに対して、すべての候補ルータアクションを実行する。
棄権は1,689回中0回のみの勝利である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Every memory-based knowledge editor in the SERAC lineage depends on a scope decision: given a query, does a stored edit apply? We report that current knowledge-editing benchmarks cannot measure this decision at all. Using INLAY, a gradient-free editor we built to obtain exact per-query ground truth (the model is frozen, edits live in an external addressable memory, and applying an edit is a bias added along one token's unembedding direction at decode time), we execute every candidate router action on 1,689 queries spanning three datasets and three input conditions. An oracle router choosing the best action every time ties a one-line static policy to four decimal places in all nine dataset-by-condition cells: the maximum attainable gain of any per-query routing method is 0.00 points. Abstention is the sole winning action zero times out of 1,689. The cause is structural: these are counterfactual benchmarks whose evaluation question asks for the post-edit answer, so answering from parametric knowledge is wrong by construction, and a benchmark without negatives cannot reward a classifier's ability to reject. This generalizes beyond our system to the whole scope-classifier family the benchmarks are used to evaluate. We confirm the mechanism directly: constructing the missing condition ourselves, by withholding a query's own edit from the index for half the sample, moves pooled headroom from exactly +0.0000 to +0.0420 and gives abstention its first wins. We also report where INLAY itself does not win (WISE beats it on Qwen2.5-7B CounterFact, and retrieval-augmented generation beats every method we tested, INLAY included, on rigorously matched RippleEdits), and disclose two bugs found during a self-audit of our own routing machinery, neither of which changed a published headline number outside noise.
- Abstract（参考訳）: SERAC系統のすべてのメモリベースの知識エディタはスコープ決定に依存している。
現在の知識編集ベンチマークでは、この決定を全く測定できないと報告します。
3つのデータセットと3つの入力条件にまたがる1,689のクエリに対して、すべての候補ルータアクションを実行する。
オラクルルータは、1行の静的ポリシーを9つのデータセット・バイ・コンディションのセルで4つの十進数に結び付ける度に最良のアクションを選択する。
棄権は1,689回中0回のみの勝利である。
原因は構造的であり、評価質問が後述の回答を求める反実的なベンチマークであるため、パラメトリック知識からの回答は建設によって間違っている。
これは、我々のシステムを超えて、ベンチマークが評価するために使用されるスコープ分類器ファミリー全体に一般化する。
クエリの編集をインデックスから半分のサンプルで保持し、プールされたヘッドルームを正確に+0.0000から+0.0420に移動し、その最初の勝利を与える。
また、INLAY自体が勝てない(WISEはQwen2.5-7B CounterFactに勝っていて、検索拡張された世代は、テスト対象のすべてのメソッド、INLAYを含むRippleEditsに勝っている)ことを報告し、独自のルーティングマシンの自己監査中に見つかった2つのバグを開示します。
関連論文リスト
- Scoring Without the Engine: Validating a Deterministic, Manipulation-Resistant Content Score for Generative Engines, End to End [0.0]
本稿では,プロキシの定義と選択を行うために,逆ファルシフィケーションゲート上に構築されたプロトコルを提案する。
我々は、プロキシが決定論的コンテンツスコアであるジェネレーティブエンジン最適化について、エンドツーエンドで示す。
論文 参考訳（メタデータ） (2026-09-07T14:40:28Z) - MetaRSI / RSI2: A Meta-Recursive Self-Improving System for Recursive Self-Improving Systems Themselves [65.60481414910728]
再帰的な自己改善により、システムは自身の失敗からモデル構築機械を改善することができる。
しかし、RSIは、科学のQAや数学のようなコーディングと形式的なベンチマークにのみ検証されている。
RSIは次に、科学的、工学的、メタ科学的な領域にまたがって運用されなければならない、と我々は主張する。
本稿では,MetaRSI-v1を提案する。改良は,1つの統一パラダイム上での3つの型付き演算子のスケジュール構成である。
論文 参考訳（メタデータ） (2026-09-06T05:15:31Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - MatReplace: A Reference-Free, Conditioning-Aligned Benchmark for Material Replacement in Interior Scenes [49.454624206478]
MatReplaceは、4つの検証可能な次元に沿って編集を評価する、参照なしのベンチマークである。
A)命令のみ、(B)命令+エリアマスク、(C)教材参照画像の3つのトラックを定義している。
以上の結果から,命名と視覚的接地材料との明確な相違が明らかとなった。
論文 参考訳（メタデータ） (2026-08-25T06:11:18Z) - Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline [0.0]
本稿では,2つの合成倉庫における400の凍結作業であるWarehouseBenchについて紹介する。
7BエージェントであるQueryProofは、セマンティックレイヤと物理カタログから派生したルールを使用して、その振る舞いを決定する。
論文 参考訳（メタデータ） (2026-08-10T08:14:24Z) - TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows [2.435006380732194]
ノイズの多いトレースをトラジェクトリにコンパイルする,スキルガイドシステムであるTraceCompilerを提案する。
あらゆるハードエッジは監査可能な証拠を持ち、あいまいな関係が疑われる。
コールの削減を計測するが、オフラインのコンパイルコストはかからない。
論文 参考訳（メタデータ） (2026-08-03T01:05:06Z) - Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs [11.997694190254974]
しばしば、帰属のための自動メトリクスを交換可能なものとして扱う。
3つの評価項目にまたがって8つの自動スコアを監査する。
評価器を選択するための単純な"best-on-average"ルールは、そのままのデータセットアウトに失敗する。
論文 参考訳（メタデータ） (2026-06-22T20:25:36Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control [0.0]
再帰的なシステムは、過度な失敗が見える前に、崩壊のような状態に入ることができる。
障害が指向性テレメトリパターンに従うかどうかをテストするためのクレームバウンド型ベンチマークフレームワークであるLoopzeroを紹介した。
凍結した2つの公開アーティファクトベンチマークのブリッジを評価する。
論文 参考訳（メタデータ） (2026-05-29T20:12:42Z) - DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification [49.1574468325115]
数値的クレーム、量、比較、時間的参照を含むステートメントは、自動化された事実チェックシステムに固有の課題をもたらす。
我々は,QuanTempデータセットを用いて,これらのクレームの精度予測のためのモデリング戦略を評価し,エビデンス検索パイプラインを構築した。
当社のベストパフォーマンスシステムは,競争力のあるマクロ平均F1スコア0.57を達成し,2025年のCheckThatのタスク3におけるトップ4のサブミッションに私たちを配置する。
論文 参考訳（メタデータ） (2025-07-08T17:22:22Z) - Certified Error Control of Candidate Set Pruning for Two-Stage Relevance
Ranking [57.42241521034744]
本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。
提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
論文 参考訳（メタデータ） (2022-05-19T16:00:13Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。