論文の概要: Metrics That Write Themselves: Evolving an Evaluator from Its Own Blind Spots

• arxiv url: http://arxiv.org/abs/2608.18744v1
• Date: Wed, 19 Aug 2026 09:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.367738
• Title: Metrics That Write Themselves: Evolving an Evaluator from Its Own Blind Spots
• Title（参考訳）: テーマを書くメトリクス:独自の盲点から評価器を進化させる
• Abstract要約: EvalCEGARは小さなPythonオペレータのプールで、それぞれが名前のついた欠陥の候補をフラグ付けし、投票する。 プールを抽象化として読み出し、衝突を検索し、2つの答えが演算子は同じスコアで、1つは正しく、1つは正しくない。 MBPP+とHumanEval+は、隠れたユニットテストが正確な真実を告げるサンドボックスで、ループは55行の演算子を書き、何もフラグ付けしないと完璧なフィルターの間のギャップの15.4%を閉じている。
• 参考スコア（独自算出の注目度）: 11.457174357202392
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Agents improve quickly against a reliable automatic metric and stall without one, and the applications that need them most, report generation among them, are the ones nobody knows how to score. Can the metric write itself? Saying what makes an answer good is hard; pointing at something wrong with one is easier, so the metric we evolve is a pool of small Python operators that each flag a candidate for one named defect, or abstain, and vote. Asking a model for operators directly does not work: 183 candidates realise only 96 distinct behaviours, from one narrow region of an enormous space. EvalCEGAR instead borrows counterexample-guided abstraction refinement from program verification. It reads the pool as an abstraction and searches for a collision, two answers the operators score identically, one correct and one not. That pair, not a prompt, is the authoring request, and when a collision defeats every attempt the loop widens what an operator may read rather than resampling. On MBPP+ and HumanEval+, a sandbox whose hidden unit tests give exact ground truth, the loop writes a 55-line operator that closes 15.4% of the gap between flagging nothing and a perfect filter on 428 unseen tasks (+0.0065, p=0.0010) at a quarter of our best hand-written operator's flags. On the benchmark it never saw it matches that operator's effect exactly on a third of the flags. Six of eight runs admit such an operator and all six help out of sample; our 15 hand-written operators applied together as one filter lose accuracy. An LLM judge on the same information ties that delta on a nearly disjoint set of candidates, and charges a model call per candidate forever where the operator charges none.
• Abstract（参考訳）: エージェントは信頼性の高い自動測定基準に対して急速に改善し、それらを最も必要としているアプリケーション、レポート生成は、誰も得点する方法を知らないアプリケーションです。 メトリクス自体を書けますか? つまり、私たちが進化しているメトリクスは、小さなPythonオペレータのプールであり、それぞれが名前のついた欠陥の候補をフラグ付けし、それを棄権し、投票する。 183の候補は、巨大な空間のある狭い領域から96の異なる振る舞いしか認識していない。 EvalCEGARは代わりに、プログラム検証から逆例の抽象化の改良を借りている。 プールを抽象化として読み出し、衝突を検索し、2つの答えが演算子は同じスコアで、1つは正しく、1つは正しくない。 このペアはプロンプトではなくオーサリング要求であり、衝突が全ての試行を破ると、オペレーターが再サンプリングするよりも、何を読むかを広げる。 MBPP+とHumanEval+は、隠れたユニットテストが正確な真実を告げるサンドボックスで、ループは55行のオペレーターを書いており、これは、フラグなしのフラグと428の未確認タスク(+0.0065, p=0.0010)の完全なフィルタの間のギャップの15.4%を、最も手書きのオペレーターのフラグの4分の1で埋める。 ベンチマークでは、そのオペレータの効果がフラグの3分の1と正確に一致しているのを見たことがなかった。 8回のうち6回はそのような演算子を認め、6回はすべてサンプルから支援を受けています。 LLMの裁判官は、ほぼ不連続な候補のデルタと同じ情報に結びつき、オペレーターが料金を請求しない場合に、候補ごとのモデルコールを永久に課金する。

関連論文リスト

• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
  報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。 以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。 モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。 我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
  論文  参考訳（メタデータ） (2026-09-01T14:57:59Z)
• Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
  私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。 モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
  論文  参考訳（メタデータ） (2026-08-02T05:00:44Z)
• Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable [14.867869624585886]
  一つの誤りの少ないオラクルがいかに能力の主張を膨らませるかを示す。 エージェント書きのプロシージャは、裁判官の下で人間書きのプロシージャを倒すことができるが、客観的な操作はできない。
  論文  参考訳（メタデータ） (2026-08-02T04:15:12Z)
• Semantic Early-Stopping for Iterative LLM Agent Loops [0.0]
  連続したドラフト埋め込みが意味を変えるのをやめたとき、ループは停止する。 各質問の完全な軌道を一度生成し、同じドラフトに対してすべての停止ポリシーを再生し、全てのLM-judgeコールをキャッシュします。 最良のラウンドを選択するオラクルは、すべての実用政策に対して+0.115インフォメーションスコアを得る。
  論文  参考訳（メタデータ） (2026-06-25T13:24:21Z)
• SPEAR: Code-Augmented Agentic Prompt Optimization [27.161602978517706]
  SPEAR(SandFrame Prompt Engineer with Active Roll-back)は4つのツールを備えたフリーフォームエージェントである。 Pythonツールは、複雑な判断タスクにおける最大のシングルレバーである。
  論文  参考訳（メタデータ） (2026-05-25T19:01:10Z)
• OpenDeepThink: Parallel Reasoning via Bradley-Terry Aggregation [53.88666485159289]
  OpenDeepThinkは、集団ベースのテスト時間計算フレームワークで、ペアワイズBradley-Terryの比較によって選択する。 OpenDeepThinkはGemini 3.1 ProのCodeforces Eloを8回のLCMコールラウンドで+405ポイント引き上げる。 CF-73は、国際グランドマスターアノテーションによる73の専門家評価コードフォース問題と、公式判決に対する99%の地域評価合意のキュレートされたセットである。
  論文  参考訳（メタデータ） (2026-05-14T17:57:40Z)
• Correct Chains, Wrong Answers: Dissociating Reasoning from Output in LLM Logic [0.0]
  LLMは、チェーン・オブ・シークレットの推論のすべてのステップを正しく実行し、いまだに間違った最終回答を生成することができる。 我々は、演算子ロジックを演算子名から分離するベンチマークであるNovel Operator Testを紹介する。 既存のベンチマークでは検出できない推論出力を示す。
  論文  参考訳（メタデータ） (2026-03-19T19:05:29Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large Language Model [59.495717939664246]
  我々は,ゴールドラベルへの依存を軽減するため,ゴールドラベルに依存しないプロンプト評価(GLaPE)を提案する。 GLaPEは,ゴールドラベルが存在しない場合でも,精度よく信頼性の高い評価を行う。 一般的な6つの推論タスクにおいて、GLaPEベースのプロンプト最適化により、精度ベースのプロンプトに匹敵する効果的なプロンプトが得られる。
  論文  参考訳（メタデータ） (2024-02-04T08:57:54Z)
• GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
  本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。 GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
  論文  参考訳（メタデータ） (2023-05-24T09:16:51Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。