論文の概要: K-Bench: measuring model performance on real scientific agent requests

• arxiv url: http://arxiv.org/abs/2608.21601v1
• Date: Fri, 21 Aug 2026 20:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.299594
• Title: K-Bench: measuring model performance on real scientific agent requests
• Title（参考訳）: K-Bench: 実際の科学的エージェント要求におけるモデル性能の測定
• Abstract要約: K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks for scientific artificial intelligence are mostly written to be scored: multiple-choice questions, curated agent tasks with reference solutions, or simulators with a known generative structure. Real scientific requests arrive differently. They are underspecified, they carry attachments, and lack ground truth. We report K-Bench 01, an evaluation built from first-turn requests sampled from live user traffic on K-Dense Web and run end to end by nine frontier models in identical sandboxes, yielding 1,602 completed agent runs. Three blinded language-model judges scored every run against an eight-dimension rubric. On a rubric whose 8-anchor instructs judges that a domain scientist would accept the work with minor edits, no model clears the line under all three judges. gpt-5.6-sol has the highest pooled mean, 8.04, but its 95% interval [7.80, 8.23] spans the threshold, and two of the three judges rank claude-opus-5 first instead. We therefore report the ordering of systems as the reproducible quantity, the absolute level as an attribute of the instrument, and the top of the table as unresolved. Across all 39,934 scored judgments -- the eight dimension scores plus a holistic overall for each assessment, excluding not-applicable cells -- 47.6% fall below the 8-point threshold. Difficulty is not uniform across the rubric: scientific accuracy averages 6.22 against 7.33 for communication, on identical denominators and in the same direction within every one of the nine models. The single leading failure tag is overclaiming, on 31.4% of assessments. We argue that the informative quantity for scientific agents is not a leaderboard position but the joint distribution of what was delivered, what was claimed, and what artifacts were produced.
• Abstract（参考訳）: 科学人工知能のベンチマークは、主に、複数の選択の質問、参照ソリューションによるキュレートされたエージェントタスク、既知の生成構造を持つシミュレータのスコアを付けるように書かれています。 真の科学的要求は、それぞれ異なる。 彼らは不特定であり、愛着を持ち、根底的な真実を欠いている。 K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングした1ターン要求から構築した評価であり、同じサンドボックス内の9つのフロンティアモデルによってエンドツーエンドに実行され、1,602のエージェント実行が達成される。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 8アンカーで、ドメイン科学者が小さな編集で作品を受理することを審査員に指示するルーリックでは、3人の審査員全員の下でラインをクリアするモデルは存在しない。 gpt-5.6-sol の平均は 8.04 であるが、95% 間隔 [7.80, 8.23] はしきい値にまたがっており、3 人の裁判官のうち 2 人が最初に claude-opus-5 をランク付けしている。 したがって,システムの順序付けを再現可能な量として,絶対レベルを楽器の属性として,テーブルの上部を未解決として報告する。 全39,934点の判定結果、すなわち8次元のスコアと、適用不可能な細胞を除く各アセスメントの総合的な総合評価は、47.6%が8ポイントの閾値を下回った。 科学的精度は平均6.22 対 7.33 対 7.33 であり、同一の分母と9つのモデルのうちの1つで同じ方向にある。 単一障害タグは、評価の31.4%で誇張されている。 我々は, 科学的エージェントの情報量は, リーダーボードではなく, 納品物, 請求物, 生成物との共同分布であると主張している。

関連論文リスト

• Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
  コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。 モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。 パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
  論文  参考訳（メタデータ） (2026-09-15T16:29:12Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• SciTrue: Reliable Scientific Claim Validation with Frontier and Open Language Models at the NTCIR SciClaimEval Task [15.259880314614117]
  11のフロンティアとオープンなマルチモーダルモデルを1つの正直なサンプル・プロトコルでベンチマークする。 SciTrueは4つのエビデンスカテゴリ/サブタスクの組み合わせのうち3つに明確なマージンを付けている。
  論文  参考訳（メタデータ） (2026-09-01T03:30:45Z)
• Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards [0.0]
  評価ベンチマークはアノテータの採用によって構築され、それらのアノテータの同一性は実装の詳細として扱われる。 2,885件のMultiPrefアイテムには、両方のプールが全会一致で配置されているため、ネクタイ破りのコンベンションは一切ない。 しかし、両方のコーパスでは、結果のモデルリーダーボードはビット識別される: Kendall tau = 1.00 で、6つのモデルのうちゼロが置き換えられる。
  論文  参考訳（メタデータ） (2026-08-17T00:19:52Z)
• Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
  Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。 まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。 第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
  論文  参考訳（メタデータ） (2026-08-11T18:48:40Z)
• A Reliability Assessment of LALM Audio Judges for Full-Duplex Voice Agents [0.0]
  2.5のFlash、3.5のFlash、3.1のProはジェミニファミリーの3つのモデルでテストされている。 我々の主要な証拠基盤は、3人のレイパーに対して検証されたGemini 2.5 Flashの地平線モデルを用いています。
  論文  参考訳（メタデータ） (2026-07-08T23:24:55Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps [0.0]
  Frontier Deep Research Agent(DRA)は、研究タスクを計画し、文書を合成し、必要に応じて構造化された成果を返却する。 既存のベンチマークは、ファクトリコール、シングルホップQA、ジェネリックエージェントスキルを計測する。 私たちは、Web検索を備えたClaude Opus 4.6、OpenAI o3-deep-research、Google Gemini 3.1 Proの3つのフロンティアエージェントを、42の中小企業のプロンプトで評価しています。
  論文  参考訳（メタデータ） (2026-05-17T17:32:52Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
  以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。 3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。 全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
  論文  参考訳（メタデータ） (2026-04-03T16:30:58Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。