論文の概要: ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry
- arxiv url: http://arxiv.org/abs/2610.26829v1
- Date: Mon, 19 Oct 2026 17:55:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 01:04:48.126842
- Title: ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry
- Title（参考訳）: ProteinGeoBench: 最先端の構造生物学エージェントはルックアップに熱中するが、幾何学では失われる
- Abstract要約: 4モデルから4,249回,26モデルから4,486回,タンパク質構造タスクのスイートであるProteinGeoBenchについて検討した。
4つのフロンティアモデルのうち3つは互いに0.031(0.785から0.816)の範囲内にあり、その差は解消されず、第4スコアは0.707、第3スコアは0である。
評価予算にも依存しており、タスク毎に1回実行され、23.9%の複製がまず異なるモデルで実行される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier agents retrieve structural metadata well and compute geometry from coordinates less reliably. We ask how much of a benchmark score reflects that gap and how much reflects the evaluation configuration around the model. We study ProteinGeoBench, a suite of 131 protein-structure tasks, using 4,249 rollouts from four frontier models and 4,486 further trials across 26 models. Three of the four frontier models fall within 0.031 of one another (0.785 to 0.816) with no difference between them resolved, while the fourth scores 0.707 and all three gaps to it exclude zero. Three of the four do better on metadata lookup than on numeric calculation. The fourth is slightly better on numeric. Numeric tasks are 28 of the 131 but half of the twelve tasks that all four models fail. The ranking also depends on the evaluation budget: with one run per task, 23.9% of bootstrap replicates put a different model first. On a selected 15-task slice, removing network access lowers scores more than blocking eight structural-database domains, but the two contrasts were graded in different passes and cannot be cleanly decomposed. Swapping in each model's own command-line agent changes scores by -0.071 to +0.086, a comparison too small to rule out moderate harness effects. Across 26 models, numeric performance rises with non-numeric performance rather than staying flat. The experiments use different task subsets, so they cannot rank model, harness, access and task composition against one another. Evaluations should report results by task family, along with the number of runs, the harness and the access conditions.
- Abstract（参考訳）: フロンティアエージェントは構造メタデータをよく検索し、座標からの幾何の計算は信頼性が低い。
ベンチマークスコアのどれ程がそのギャップを反映し、どのくらいがモデルに関する評価設定を反映しているかを尋ねる。
4つのフロンティアモデルから4,249のロールアウトと4,486のさらなる試行を用いて,131のタンパク質構造タスクからなるProteinGeoBenchについて検討した。
4つのフロンティアモデルのうち3つは、それぞれ0.031(0.785から0.816)の範囲内にあり、その差は解消されていない。
4つのうち3つは、数値計算よりもメタデータのルックアップの方が優れている。
4番目は数字が少し上回っている。
数値タスクは131のうち28であるが、4つのモデルが失敗する12のタスクの半分は失敗している。
評価予算にも依存しており、タスク毎に1回の実行で23.9%のブートストラップ複製が異なるモデルが最初に実行される。
選択された15タスクスライスでは、ネットワークアクセスの低下は8つの構造データベースドメインをブロックするよりも多いが、2つのコントラストは異なるパスでグレードされ、きれいに分解することはできない。
各モデルのコマンドラインエージェントのスワッピングではスコアが-0.071から+0.086に変更され、中程度のハーネス効果を除外するには小さすぎる。
26モデルを超えると、数値性能はフラットにとどまらずに非数値性能で上昇する。
実験では、異なるタスクサブセットを使用するため、モデル、ハーネス、アクセス、タスク構成を互いにランク付けできない。
評価は、実行回数、ハーネス、アクセス条件とともに、タスクファミリーによって結果を報告すべきである。
関連論文リスト
- Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents [76.27019209070825]
既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。
長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。
19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
論文 参考訳（メタデータ） (2026-10-14T15:24:39Z) - Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。
14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。
3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
論文 参考訳（メタデータ） (2026-10-13T01:52:19Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。
モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。
パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
論文 参考訳（メタデータ） (2026-09-15T16:29:12Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳（メタデータ） (2026-08-21T20:06:08Z) - TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation [74.69068352546073]
TRACE-Benchは、多様な芸術的スタイルと現実世界の主題にまたがるマルチ参照画像の評価ツールである。
631の定式テンプレートと、様々な芸術様式と現実世界の主題にまたがる約4,000の参照画像で構成されている。
その公式構造は、演算子整合性評価プロトコルを駆動し、可視性スコアリングと診断木解析を行う。
論文 参考訳（メタデータ） (2026-08-17T16:15:50Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。
GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
論文 参考訳（メタデータ） (2026-05-27T18:59:18Z) - AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。
i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
論文 参考訳（メタデータ） (2026-05-19T22:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。