論文の概要: FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training

• arxiv url: http://arxiv.org/abs/2608.20574v2
• Date: Wed, 26 Aug 2026 20:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 14:16:51.504678
• Title: FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training
• Title（参考訳）: FlavourBench: 言語モデル評価とポストトライニングのための実行可能なクリーナーリワードマップ
• Abstract要約: オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。 FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。 同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-ended language-model evaluation often substitutes another model or a small preference panel for a missing answer key. We introduce FlavourBench, which instead compiles dense answer maps from a versioned culinary environment. Each task asks for a three-ingredient portfolio from eight candidates; before inference, Epicure scores all 56 portfolios. We evaluate 27 frontier endpoints on the same 534 substitution, pairing, and constraint tasks, yielding 14,418 complete model-task observations. Anchor-cluster bootstraps and multiplicity-controlled paired tests resolve 101 of 351 model contrasts. Grok 4.6 has the largest point estimate at 65.1, but the corrected evidence does not identify a unique best endpoint. The ranking replicates across independently compiled panels and remains similar under alternative metrics, task filters, family weights, and three public Epicure checkpoints. We then run a preregistered, three-seed post-training study. LoRA SFT of a pinned Qwen3-0.6B checkpoint on 270 Epicure-optimal answers improves its score on 84 anchor-disjoint maps by 13.30 points over a format- and label-matched control (95% CI 6.52 to 20.29, p = 0.000170), and the effect replicates on all 534 public maps. The replication gain is 11.73 points (95% CI 8.98 to 14.54). On the primary split, both trained arms parse every response while the format control does not improve on the base model. The release contains prompts, exhaustive reward maps, raw responses, training and evaluation manifests, statistical plans, code, and an offline verifier.
• Abstract（参考訳）: オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。 FlavourBenchを導入し、代わりにバージョン付き料理環境から高密度な回答マップをコンパイルする。 それぞれのタスクは8つの候補から3段階のポートフォリオを要求され、推測の前にEpicureは56のポートフォリオすべてにスコアを付けます。 同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。 アンカークラスタブートストラップと多重性制御ペアテストは、351モデルのコントラストの101を解消する。 Grok 4.6 は 65.1 で最大の点推定値を持つが、補正された証拠は唯一の最高の終点を特定できない。 ランキングは独立してコンパイルされたパネル間で複製され、代替のメトリクス、タスクフィルタ、家族の重み付け、3つの公開Epicureチェックポイントで類似している。 次に、事前登録された3種ポストトレーニング研究を実施します。 ピン付き Qwen3-0.6B チェックポイント 270 の Epicure-optimal answer の LoRA SFT は、フォーマットとラベルにマッチしたコントロール (95% CI 6.52 - 20.29, p = 0.000170) で84のアンカー・ディジョイント・マップのスコアを13.30ポイント改善し、すべての 534 の公開マップに再現する。 再現率は11.73ポイント(95% CI 8.98 - 14.54)である。 一次分割では、両方の訓練されたアームが全ての応答を解析するが、フォーマット制御はベースモデルでは改善されない。 リリースにはプロンプト、徹底的な報酬マップ、生のレスポンス、トレーニングと評価のマニフェスト、統計計画、コード、オフライン検証が含まれている。

関連論文リスト

• Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
  コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。 モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。 パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
  論文  参考訳（メタデータ） (2026-09-15T16:29:12Z)
• MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes [0.0]
  トランジットキオスクのポリシー層として,言語モデルをテストするための955ケースベンチマークであるMetroLLM-Benchを紹介する。 37駅から414駅までの6つの実際の地下鉄システムと、ルーティング、運賃計算、ディスラプション、アクセシビリティ、敵の入力を含む11のカテゴリをカバーしている。 14の決定論的スコアリングコンポーネントがTier 1を形成し、8つの意味論的品質コンポーネントがTier 2を形成し、そのうち6つは言語モデル判断器を使用している。
  論文  参考訳（メタデータ） (2026-09-09T10:46:56Z)
• TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation [74.69068352546073]
  TRACE-Benchは、多様な芸術的スタイルと現実世界の主題にまたがるマルチ参照画像の評価ツールである。 631の定式テンプレートと、様々な芸術様式と現実世界の主題にまたがる約4,000の参照画像で構成されている。 その公式構造は、演算子整合性評価プロトコルを駆動し、可視性スコアリングと診断木解析を行う。
  論文  参考訳（メタデータ） (2026-08-17T16:15:50Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
  マルチモデルLPMシステムは単一モデルの精度を上回ります。 彼らの利益は、ほとんど報告されない量で占められていることを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:06:06Z)
• You Don't Need to Run Every Eval [14.183605234187624]
  全133ベンチマークのモデルスコアは、2つの数字で決定される。 スコアマトリックス、BenchPressコード、任意のベンチマークで任意のモデルのスコアを予測するインタラクティブツールをリリースします。
  論文  参考訳（メタデータ） (2026-06-22T23:54:00Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks [0.0]
  MathCheckのパラフレーズ品質検査では, 19群で4つの意味的不正確なパラフレーズが検出された。 GPT-4oは2位から4位へと降格し、クロード・ハイクとディープ・シークV3が上昇する。
  論文  参考訳（メタデータ） (2026-05-27T18:59:18Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
  VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。 本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。 完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
  論文  参考訳（メタデータ） (2026-03-14T14:38:53Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。