論文の概要: TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
- arxiv url: http://arxiv.org/abs/2610.06824v2
- Date: Tue, 06 Oct 2026 07:00:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.453273
- Title: TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
- Title（参考訳）: TasteVal:AIシステムの人間専門家に対する実験的な研究の味を測定する
- Abstract要約: TasteValは、フロンティアモデルの実験的研究の味を評価するためのベンチマークである。
これは、フロンティアAIR&Dを代表する、挑戦的でオープンな8つのタスクで構成されている。
私たちは、タスク毎に少なくとも2人の人間専門家を募集し、タスクごとに最高の専門家の試みをエキスパートベースラインとして取ります。
- 参考スコア（独自算出の注目度）: 3.0416388943721624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce TasteVal, a benchmark to evaluate the experimental research taste of frontier models. We define research taste as the ability to pick interesting problems to solve, design experiments, and interpret experimental results. TasteVal measures the experimental component of research taste; given a fixed research problem, we measure how well a model iteratively designs experiments and draws conclusions from their outcomes. We operationalize experimental research taste as compute efficiency; a Researcher who reaches the same score as an expert human using half the serial experimental compute has twice the experimental taste. Experimental taste thus acts as a multiplier on experimental compute, making it a key input to forecasts of AI progress. TasteVal consists of 8 novel, challenging, open-ended tasks representative of frontier AI R&D. To isolate taste from coding ability, the model under evaluation acts as a Researcher that iteratively designs experiments while a fixed Coder agent implements them and reports their results. The Researcher executes until either the 40 H100 hour or 120 wall-clock hour budgets are exhausted. We recruit 24 human experts, at least 2 per task, and take the best expert attempt per task as the expert baseline. We evaluate 20 models released between 2023 and 2026. The best-performing model, Opus 5.5, exceeds our expert baseline, with a compute multiplier of 2.3x (95% CI 1.15-4.37), at roughly 1/30 of our baseliners' average per-run cost. On TasteVal, the compute multiplier of frontier models has doubled approximately every 3.0 months since December 2025 (95% CI 1.7-5.0), up from every 14 months between 2023 and December 2025. Measured by final normalized performance, frontier models show no trend break, doubling every 14.6 months. To keep TasteVal uncontaminated, we do not release the tasks.
- Abstract（参考訳）: 本稿では,フロンティアモデルの実験的研究嗜好を評価するためのベンチマークであるTasteValを紹介する。
我々は、研究の味を、解決すべき興味深い問題を選び、実験を設計し、実験結果を解釈する能力として定義する。
TasteValは、研究の味の実験的成分を測定し、モデルが実験を反復的にどのように設計し、結果から結論を引き出すかを測定する。
我々は実験的な研究の味を計算効率として運用する; 連続的な実験計算の半分を用いて専門家と同等のスコアに達した研究者は、実験的な味の2倍の味を持つ。
したがって、実験的な味は、実験的な計算における乗算器として機能し、AIの進歩を予測するための重要な入力となる。
TasteValは、フロンティアAIR&Dを代表する、挑戦的でオープンな8つのタスクで構成されている。
味覚をコーディング能力から分離するために、評価対象のモデルは実験を反復的に設計する研究者として機能し、固定されたコーダエージェントがそれらを実装し、その結果を報告する。
研究者は40H100時間か120H100時間の予算が枯渇するまで実行します。
私たちは、タスク毎に少なくとも2人の人間専門家を募集し、タスクごとに最高の専門家の試みをエキスパートベースラインとして取ります。
2023年から2026年の間にリリースされた20のモデルを評価します。
最高のパフォーマンスモデルであるOps 5.5は、専門家のベースラインを超え、計算乗算は2.3x(95% CI 1.15-4.37)で、ベースライナーの平均実行コストの約1/30である。
TasteValでは、2025年12月(95% CI 1.7-5.0)以降、フロンティアモデルの計算乗算率は約3.0ヶ月毎に倍増し、2023年から2025年12月までの14ヶ月毎に増加した。
最終的な正規化パフォーマンスによって測定され、フロンティアモデルはトレンドブレークを示さず、14.6ヶ月毎に倍増する。
TasteValを汚染しないように、タスクはリリースしません。
関連論文リスト
- Scientific Discovery under Validation Congestion via Multi-Fidelity Pairwise Rankings [26.634491386548135]
PRISMSは,有望な候補を特定するために,専門家のペアランキングを利用するフレームワークである。
PRISMSは、回帰のみのアクティブラーニングよりも42%少ないラウンドで50%のトップ10発見リコールを達成し、選択的エスカレーションのないランキングベースの手法よりも15%少ないラウンドで達成している。
論文 参考訳（メタデータ） (2026-10-01T15:04:03Z) - Experimental Experience Modeling for Autonomous Research [74.75443711890406]
本稿では,実験的な意思決定を行うためのフレームワークである実験経験モデリング(EEM)を紹介する。
EEMは、初期の実験軌道から決定関連レコードを抽出し、再利用可能な体験に蒸留し、経験ライブラリーに整理する。
EEMは、需要に関する意思決定関連エクスペリエンスの欠如を取得するために、目標とする低コストなパイロット実験を実施する。
そして、この新たに取得した経験と、検索した歴史的経験を組み合わせることで、その方向が本格的な評価を保証できるかどうかを判断する。
論文 参考訳（メタデータ） (2026-09-30T09:39:30Z) - Advancing Model Research in AgentX: Long-Horizon Autonomy for Industrial Recommender Systems [30.396000562716313]
AgentX-Modelは提案開発とモデル実験を結びつける。
AgentX-Modelは、Research AgentとModel Agentで構成されるデュアルエージェントアーキテクチャを採用している。
論文 参考訳（メタデータ） (2026-09-24T15:45:07Z) - AI Research Preference Models [87.14303218008381]
研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。
フロンティア作業の進行は コストで妨げられています
我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
論文 参考訳（メタデータ） (2026-08-14T04:20:37Z) - Small Foundation Models of Human Cognition and Behaviour [45.88028371034407]
135Mから14Bパラメータの14モデルを、Psych-101の4つのアーキテクチャファミリでトレーニングしています。
Psych-101は160の実験から1070万の試行レベルの選択のデータセットである。
認知的に微調整された小さなモデルは、心理的実験のためのノイズ天井推定器として有望であることを示す。
論文 参考訳（メタデータ） (2026-08-05T11:34:20Z) - Teaching Language Models to Forecast Research Success Through Comparative Idea Evaluation [4.702729080310267]
PapersWithCodeの客観的な結果に基づいて,11,488のアイデアペアのデータセットを構築した。
我々は、潜在的推論経路を発見するためにモデルを訓練し、解釈可能な正当化で71.35%を達成した。
この結果から,計算効率のよい小言語モデルが,有効で客観的な検証手段として有効であることが示唆された。
論文 参考訳（メタデータ） (2026-04-06T19:03:11Z) - HARPA: A Testability-Driven, Literature-Grounded Framework for Research Ideation [29.9491787481972]
HARPAは科学的文献で実証可能な仮説を生成するためのツールである。
評価の結果,HARPAが生成する仮説駆動型研究提案は,強力なベースラインAI-Researcherと相容れない性能を示した。
ASDエージェント(CodeScientist)でテストすると、HARPAはより成功した実行(40のうち20対11)と少ない障害(16対21対40)を生み出した。
論文 参考訳（メタデータ） (2025-10-01T07:52:19Z) - Predicting Empirical AI Research Outcomes with Language Models [27.148683265085012]
AI研究における有望なアイデアの多くは提供されないが、その検証には相当な人的労力と計算が必要だ。
このタスクの最初のベンチマークを構築し、LMと人間の専門家を比較します。
私たちはカンファレンス論文からアイデアと実験結果を取り除き、ベースモデルがテストの切り離し日後に公表された1,585人の人間による検証されたアイデアペアを生成しました。
我々は,精巧なGPT-4.1と紙検索エージェントを組み合わせたシステムを開発し,25人の人間専門家を雇って比較する。
NLP領域では、我々のシステムは人間の専門家を64.4%対48.で破る。
論文 参考訳（メタデータ） (2025-06-01T02:46:31Z) - MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback [136.27567671480156]
先行テストからのフィードバックに基づいて仮説を優先順位付けする実験誘導ランキングを導入する。
我々は、シーケンシャルな意思決定問題として実験誘導型ランキングを定めている。
我々のアプローチは、実験前のベースラインと強い改善を著しく上回る。
論文 参考訳（メタデータ） (2025-05-23T13:24:50Z) - Predicting Performance for Natural Language Processing Tasks [128.34208911925424]
実験条件を入力として,NLP実験の評価スコアを予測する回帰モデルを構築した。
9つの異なるNLPタスクを実験した結果、予測器は目に見えない言語や異なるモデリングアーキテクチャに対して有意義な予測を生成できることがわかった。
論文 参考訳（メタデータ） (2020-05-02T16:02:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。