論文の概要: RubricCraft: Where Solutions Diverge, Criteria Emerge
- arxiv url: http://arxiv.org/abs/2610.31707v1
- Date: Wed, 21 Oct 2026 21:13:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.247694
- Title: RubricCraft: Where Solutions Diverge, Criteria Emerge
- Title（参考訳）: RubricCraft: ソリューションの多様性と創造性
- Abstract要約: 提案するCraftは,構築を自然言語仕様の生成として扱うもので,候補となるソリューションによってガイドされる。
Craftは、各試みがどのようにタスク要件を満たすか、あるいは違反するかを比較し、これらの違いを使用して基準を構築する。
収集されたソリューションに基準を適用し、エラーや有効な代替品を見落としているチェックを修正します。
- 参考スコア（独自算出の注目度）: 12.143241561608837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating language agents on open-ended, artifact-producing tasks is difficult: model-based graders can be inconsistent, while exhaustive programmatic checks are often impractical. Textual rubrics make evaluation criteria explicit, but writing them requires domain expertise. Rubrics generated from task descriptions alone can miss requirements and failure modes that become apparent in attempted solutions. We introduce RubricCraft, which treats rubric construction as the generation of natural-language specifications guided by candidate solutions. Given a task description and independently sampled solver trajectories, RubricCraft compares how each attempt satisfies or violates the task requirements and uses these differences to construct rubric criteria. It applies the criteria to the collected solutions and revises checks that overlook errors or penalize valid alternatives. The resulting rubrics capture partial correctness without requiring any single solution to serve as a complete reference. On SpreadsheetBench v2, against a prompt-only rubric written and applied by the same model, RubricCraft rubrics pass fewer wrong outputs (29.5% against 42.6%), fail none of the outputs the benchmark's own checker accepts, and rank outputs by correctness more often, while separating models as often. Repair on a single attempt leaves grading unchanged, but repair driven by attempts from three model families acts on different tasks, and an evidence audit judges most of those repairs improvements, many on tasks whose reference solution is itself wrong.
- Abstract（参考訳）: オープンエンドでアーティファクトを生成するタスクに対する言語エージェントの評価は困難である。
テキストのルーブリックは評価基準を明確にするが、それを記述するにはドメインの専門知識が必要である。
タスク記述だけで生成されたルーブは、試みられたソリューションで明らかになる要件や障害モードを見逃す可能性がある。
本稿では,RubricCraftを紹介した。このRubricCraftは,Rubricの構築を,候補解によってガイドされる自然言語仕様の生成として扱う。
タスク記述と独立したサンプリングされたソルバ軌道が与えられた場合、RubricCraftは各試みがどのようにタスク要求を満たすか、あるいは違反するかを比較し、これらの違いを使用してルーリック基準を構築する。
収集されたソリューションに基準を適用し、エラーを見落とし、有効な代替案を罰するチェックを修正します。
結果として生じるルーリックは、完全な参照として機能する単一の解を必要としない部分的な正しさをキャプチャする。
SpreadsheetBench v2では、同じモデルで書かれたプロンプトのみのルーブリックに対して、RubricCraftのルーブリックは間違った出力(29.5%対42.6%)を減らし、ベンチマークのチェッカーが受け入れた出力のどれも失敗せず、より頻繁に正確さで出力をランク付けし、モデルを分割する。
単一の試みの修復は段階的に行われないが、3つのモデルファミリーの試行によって引き起こされた修復は、異なるタスクに作用する。
関連論文リスト
- RARE: Reinforcement Learning with Adaptive Rubric Evolution for Open-Ended Generation [37.045023705882535]
検証可能な報酬は、数学とコードにおける高度な強化学習である。
そのため、トレーニングには、さまざまな有効な回答に対する満足度に関するフィードバックが必要である。
適応進化型強化学習(RARE)を提案する。
論文 参考訳（メタデータ） (2026-10-18T17:54:40Z) - AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - From Verification Failures to Reusable Guidance for Coding Agents [10.7243245192525]
コーディングエージェントは、プログラムが仕様を満たすことと、仕様が要求された振る舞いをキャプチャすることを確立する必要がある。
本研究は,検証失敗の専門診断が再利用可能なガイダンスとなる方法について検討する。
ヒューマンガイド開発キャンペーンは、セマンティクスとキットで164/164の成功率を達成する。
論文 参考訳（メタデータ） (2026-09-30T05:27:26Z) - From Migration to Calibration: Preserving Agent Capabilities across Models, Jurisdictions, and Scale [4.321360447503974]
エージェントキャリブレーションを標準優先適応として定式化し,基本能力,技術環境,ユーザコンテキスト標準を定義する。
制限されたユーザトラジェクトリとテストを用いた自動校正ツールを今後の作業として提案する。
論文 参考訳（メタデータ） (2026-09-28T13:31:46Z) - CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks [87.1086886770395]
CalibForgeは、自律型ターミナルタスク合成システムである。
検証されたソルバの挙動を用いて、逆ソルバの校正によって候補タスクを修正する。
CalibForgeを使って5,431の端末タスクを構築します。
論文 参考訳（メタデータ） (2026-08-06T17:53:18Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - SCREWS: A Modular Framework for Reasoning with Revisions [58.698199183147935]
我々は、リビジョンを伴う推論のためのモジュラーフレームワークであるSCREWSを紹介する。
我々は、SCREWSが、共通のフレームワークの下で、いくつかの以前のアプローチを統合することを示す。
我々は,多種多様な推論タスクに基づいて,最先端のLCMを用いてフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-09-20T15:59:54Z) - GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。
GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
論文 参考訳（メタデータ） (2023-05-24T09:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。