論文の概要: FindStatBench: Evaluating Large Language Models on Combinatorial Code Synthesis
- arxiv url: http://arxiv.org/abs/2607.18260v1
- Date: Sat, 16 May 2026 02:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.094046
- Title: FindStatBench: Evaluating Large Language Models on Combinatorial Code Synthesis
- Title（参考訳）: FindStatBench: 組合せコード合成による大規模言語モデルの評価
- Abstract要約: FindStatBenchは、コード合成の大規模言語モデルを評価するための実行ベンチマークである。
24のコレクションに2,329のタスクと5.52万のシークレットインスタンスが含まれている。
各タスクは数学的記述を与え、少なくとも5つのパブリックなインプット・アウトプットの例を示す。
- 参考スコア（独自算出の注目度）: 13.142220109832197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce FindStatBench, an execution benchmark for evaluating large language models on combinatorial code synthesis. Built from FindStat, it contains 2,329 tasks across 24 collections and 5.52M hidden instances, covering statistic synthesis, which maps objects to integers, and map synthesis, which maps objects to objects. Each task gives a mathematical description and at most five public input-output examples; a model must emit one Python solve function with no retrieval, tool use, execution feedback, voting, or reranking. Submissions are scored by exact sandboxed execution on held-out combinatorial objects. We evaluate eleven systems: four closed-source production models and seven open-weight models served through one inference provider. FindStatBench reveals three main patterns. First, the strongest open- and closed-source systems converge within 1 pp instance accuracy, and both an oracle over all systems and five-way sampling from one mid-tier model yield only limited task-accuracy gains. Second, examples can hurt: several classical bijections are solved perfectly with zero examples but fail under five-example prompts. Third, some failures reflect output-budget mechanics, as reasoning can exhaust the visible response before code is emitted. Overall, statistic synthesis is much easier than map synthesis, some collections remain near-zero, long prompts cause a sharp accuracy cliff, and exact symbolic rule induction remains brittle.
- Abstract（参考訳）: 本研究では,組合せ型コード合成における大規模言語モデル評価のための実行ベンチマークであるFindStatBenchを紹介する。
FindStatから構築されたFinderStatには、24のコレクションにわたる2,329のタスクと5.52万の隠れインスタンスが含まれ、統計合成、オブジェクトを整数にマッピングする統計合成、オブジェクトをオブジェクトにマッピングするマップ合成を含んでいる。
モデルは、検索、ツールの使用、実行フィードバック、投票、または再配置なしで、1つのPython解決関数を出力しなければならない。
サブミッションは、保持された組合せオブジェクト上で正確にサンドボックス化された実行によってスコアされる。
4つのクローズドソース生産モデルと7つのオープンウェイトモデルが1つの推論プロバイダを通じて提供される。
FindStatBenchは3つの主要なパターンを明らかにしている。
まず、最強のオープンソースシステムとクローズドソースシステムは1pp以内の精度で収束し、全てのシステム上のオラクルと1つの中間層モデルからの5方向サンプリングの両方が、限られたタスク精度の利得しか得られない。
第二に、いくつかの古典的単射はゼロ例で完全に解かれるが、5例のプロンプトで失敗する。
第三に、いくつかの障害は、コードが出力される前に可視応答を消耗できるため、出力予算の仕組みを反映している。
全体として、統計合成は地図合成よりもはるかに容易であり、いくつかのコレクションはゼロに近いままであり、長いプロンプトは鋭い精度の崖を生じさせ、正確な記号規則誘導は不安定である。
関連論文リスト
- ClosureBench: A Constructive Benchmark for Compositional Graph Reasoning [1.827510863075184]
ClosureBenchはグラフ関係推論のための構築的なベンチマークである。
証明済みの真実だ
1.5Bのオープンウェイトからフロンティアシステムへのモデルの評価を行った。
論文 参考訳（メタデータ） (2026-08-18T18:36:21Z) - MM-OptBench: A Solver-Grounded Benchmark for Multimodal Optimization Modeling [18.671643433145846]
テキストと視覚の問題仕様から数学的定式化と実行可能なソルバコードの両方を構築する必要があるベンチマーク設定であるマルチモーダル最適化モデルを導入する。
フレームワークをMM-OptBenchとしてインスタンス化し,6つの最適化ファミリ,26のサブカテゴリ,3つの構造的難易度にまたがる780のソルバ検証インスタンスをベンチマークした。
論文 参考訳（メタデータ） (2026-05-12T14:07:36Z) - Count Anything at Any Granularity [55.70950689938894]
KubriCountは、これまでで最大で、最も包括的な注釈付きカウントデータセットである。
テキストと視覚的特徴を相補的なターゲット仕様として併用する多粒カウントモデルを訓練する。
HieraCountは、マルチグラデーションカウントの精度を大幅に改善し、現実のシナリオに対して堅牢に一般化する。
論文 参考訳（メタデータ） (2026-05-11T17:32:37Z) - TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。
これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。
単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-30T16:22:51Z) - vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。
本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。
完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
論文 参考訳（メタデータ） (2026-03-14T14:38:53Z) - Small Language Models as Compiler Experts: Auto-Parallelization for Heterogeneous Systems [0.0]
本稿では,小 (約1B パラメータ) 言語モデル駆動型コンパイラの自動並列化の総合評価について述べる。
我々は、11の現実世界のカーネルにわたる6つの推論戦略を用いて、gemma3、llama3.2、qwen2.5の3つのモデルを評価する。
376件の総合評価において,提案手法は畳み込み動作における平均速度6.81倍,ピーク性能43.25倍を達成する。
論文 参考訳（メタデータ） (2025-12-22T10:34:45Z) - FABLE: A Novel Data-Flow Analysis Benchmark on Procedural Text for Large Language Model Evaluation [5.866040886735852]
FABLEは、構造化された手続き型テキストを用いて、大規模言語モデルのデータフロー理解を評価するために設計されたベンチマークである。
推論中心モデル(DeepSeek-R1 8B)、汎用モデル(LLaMA 3.1 8B)、コード固有モデル(Granite Code 8B)の3種類を評価した。
その結果,推理モデルでは精度が向上するが,他のモデルに比べて20倍以上の推論が遅くなることがわかった。
論文 参考訳（メタデータ） (2025-05-30T06:32:34Z) - Stack Trace Deduplication: Faster, More Accurately, and in More Realistic Scenarios [42.75968139336785]
大規模なソフトウェアシステムでは、エラーが発生した時に人による記述が書かれた完全なバグレポートは存在しないことが多い。
この場合、開発者はスタックトレース、すなわち一連の関数呼び出しに頼り、エラーを引き起こした。
近年の研究では、これに対する強力な深層学習に基づくアプローチが提案されているが、実際のカテゴリーから独立して評価され、比較されている。
論文 参考訳（メタデータ） (2024-12-19T12:48:17Z) - Model Editing with Canonical Examples [75.33218320106585]
標準例を用いたモデル編集について紹介する。
例えば、モーリシャスの首都はポートルイである。
本稿では,各標準例に対して数個の感覚ベクトルを選択し,微調整するセンスファインタニングを提案する。
論文 参考訳（メタデータ） (2024-02-09T03:08:12Z) - A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。
プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。
抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-05T19:23:34Z) - When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data [84.87772675171412]
個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
論文 参考訳（メタデータ） (2021-02-03T18:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。