論文の概要: FlavourBench: Ranking Frontier Language Models with Executable Culinary Ground Truth

• arxiv url: http://arxiv.org/abs/2608.20574v1
• Date: Thu, 20 Aug 2026 21:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.249116
• Title: FlavourBench: Ranking Frontier Language Models with Executable Culinary Ground Truth
• Title（参考訳）: FlavourBench: 実行可能なクリーナリーグラウンド真実を用いたフロンティア言語モデルランキング
• Abstract要約: FlavourBenchは、バージョニングされた料理システムで、高密度で実行可能で真理を提供する自動ベンチマークである。 モデル実行の前に、Epicureは56の可能なポートフォリオをすべてスコア付けする。 同一の534タスクコアに27のフロンティアエンドポイントを分散置換,ペアリング,制約構成で評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-ended language-model benchmarks usually inherit a judge: a human preference panel, another model, or a brittle exact-match key. We introduce FlavourBench, an automated benchmark in which a versioned culinary system supplies dense, executable ground truth. Each task presents eight ingredients and asks for a three-ingredient portfolio; before model execution, Epicure scores all 56 possible portfolios. We evaluate 27 frontier endpoints on an identical 534-task core spanning substitution, pairing, and constrained composition. Every ranked model has exactly 89 valid responses per panel and family (14,418 model-task cells total), eliminating differential missingness from the leaderboard. The FlavourBench Score is the equal-family mean of the frozen task scores. We use 50,000 anchor-cluster bootstrap replicates for simultaneous 95% score bands and 100,000 sign-flip draws for all 351 paired model contrasts, with Holm control. The two independently compiled panels correlate at r = 0.89 (rank rho = 0.80). Grok 4.6 has the largest point estimate at 65.1 (simultaneous 95% CI 61.0-69.2); 101 of 351 model pairs are resolved. The release includes the prompts, all portfolio score maps, raw responses, exact routes, content hashes, and an offline verifier that reconstructs every result.
• Abstract（参考訳）: オープンエンドの言語モデルベンチマークは通常、人間の選好パネル、別のモデル、不安定な正確なマッチキーといった判断を継承する。 FlavourBenchは、バージョニングされた料理システムで、高密度で実行可能で真理を提供する自動ベンチマークである。 モデル実行の前に、Epicureは56の可能なポートフォリオをすべてスコア付けする。 同一の534タスクコアに27のフロンティアエンドポイントを分散置換,ペアリング,制約構成で評価した。 各ランク付けされたモデルには、パネルとファミリーごとに89の有効な応答(14,418個のモデルタスクセル)があり、リーダーボードからの差分欠を排除している。 FlavourBenchスコアは、凍結されたタスクスコアの家族平均である。 我々は5万個のアンカークラスタブートストラップを同時に95%のスコアバンドに使用し、351個のペアモデルコントラストに10万個のサインフリップドローをホルム制御で使用しています。 2つの独立にコンパイルされたパネルは、r = 0.89 (rank rho = 0.80) で相関する。 Grok 4.6は65.1(同時に95% CI 61.0-69.2)と推定され、351モデルペアのうち101が解決される。 リリースにはプロンプト、すべてのポートフォリオスコアマップ、生のレスポンス、正確なルート、コンテンツハッシュ、すべての結果を再構築するオフライン検証が含まれている。

関連論文リスト

• Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
  コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。 モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。 パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
  論文  参考訳（メタデータ） (2026-09-15T16:29:12Z)
• MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes [0.0]
  トランジットキオスクのポリシー層として,言語モデルをテストするための955ケースベンチマークであるMetroLLM-Benchを紹介する。 37駅から414駅までの6つの実際の地下鉄システムと、ルーティング、運賃計算、ディスラプション、アクセシビリティ、敵の入力を含む11のカテゴリをカバーしている。 14の決定論的スコアリングコンポーネントがTier 1を形成し、8つの意味論的品質コンポーネントがTier 2を形成し、そのうち6つは言語モデル判断器を使用している。
  論文  参考訳（メタデータ） (2026-09-09T10:46:56Z)
• TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation [74.69068352546073]
  TRACE-Benchは、多様な芸術的スタイルと現実世界の主題にまたがるマルチ参照画像の評価ツールである。 631の定式テンプレートと、様々な芸術様式と現実世界の主題にまたがる約4,000の参照画像で構成されている。 その公式構造は、演算子整合性評価プロトコルを駆動し、可視性スコアリングと診断木解析を行う。
  論文  参考訳（メタデータ） (2026-08-17T16:15:50Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
  マルチモデルLPMシステムは単一モデルの精度を上回ります。 彼らの利益は、ほとんど報告されない量で占められていることを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:06:06Z)
• You Don't Need to Run Every Eval [14.183605234187624]
  全133ベンチマークのモデルスコアは、2つの数字で決定される。 スコアマトリックス、BenchPressコード、任意のベンチマークで任意のモデルのスコアを予測するインタラクティブツールをリリースします。
  論文  参考訳（メタデータ） (2026-06-22T23:54:00Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
  VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。 本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。 完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
  論文  参考訳（メタデータ） (2026-03-14T14:38:53Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。