論文の概要: CombEval: A Framework for Evaluating Combinatorial Counting in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.19788v1
• Date: Thu, 18 Jun 2026 04:47:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.651907
• Title: CombEval: A Framework for Evaluating Combinatorial Counting in Large Language Models
• Title（参考訳）: CombEval: 大規模言語モデルにおける組合せ数評価フレームワーク
• Authors: Yuxu Zhou, Ondřej Kuželka, Yuyi Wang, Yuanhong Wang, Yi Chang,
• Abstract要約: CombEvalは、エンティティ、オブジェクト、オブジェクト依存性、制約に対する型付きCofola仕様として、各問題を表現している。 静的コレクションとは異なり、CombEvalはオブジェクトタイプ、エンティティスケール、制約カウント、推論深さの体系的なバリエーションをサポートしている。
• 参考スコア（独自算出の注目度）: 12.245682714937338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present CombEval, a dynamic benchmark for evaluating combinatorial counting in large language models. CombEval represents each problem as a typed Cofola specification over entities, combinatorial objects, object dependencies, and constraints, enabling controlled generation of natural-language counting problems with exact solver-verified answers. Unlike static collections, CombEval supports systematic variation of object type, entity scale, constraint count, and reasoning depth. We evaluate 11 LLMs under direct and code-augmented settings and find that models remain brittle on ordered objects, indistinguishable elements, relatively positional constraints, and nested object dependencies. Error analysis further identifies failures in constraint interpretation and counting principles. CombEval provides a diagnostic testbed for studying when and why LLMs fail at combinatorial reasoning. The code and generated benchmark suites are publicly available at \url{https://github.com/YuxuZhou-CN/combination-problem-generation}.
• Abstract（参考訳）: 大規模な言語モデルにおける組合せ数を評価するための動的ベンチマークであるCombEvalを提案する。 CombEvalは、各問題をエンティティ、コンビネータオブジェクト、オブジェクト依存性、制約に対する型付きコフォラ仕様として表現し、正確な解答を検証した自然言語カウント問題の生成を可能にする。 静的コレクションとは異なり、CombEvalはオブジェクトタイプ、エンティティスケール、制約カウント、推論深さの体系的なバリエーションをサポートしている。 直接およびコード拡張された設定下で11個のLCMを評価し、モデルが順序付けされたオブジェクト、識別不能な要素、相対的な位置制約、ネストされたオブジェクト依存に対して不安定であることを確認する。 誤り解析は、制約解釈と数え上げ原理の失敗をさらに特定する。 CombEvalは、LLMが組み合わせ推論で失敗する時期と理由を研究するための診断テストベッドを提供する。 コードと生成されたベンチマークスイートは、 \url{https://github.com/YuxuZhou-CN/combination-problem-gene} で公開されている。

関連論文リスト

• Solving Combinatorial Counting Problems with Weighted First-Order Model Counting [2.2680525506361717]
  我々は,すべてのCofolaプログラムを適切に定義されたカウント問題にマッピングする型付き言語であるCofola(LAnguage with First Preserving logic)を提案する。 Cofolaは簡潔な仕様と、実用的なエンドツーエンドの均一な解決パイプラインを生成する。
  論文  参考訳（メタデータ） (2026-05-24T03:29:19Z)
• OrLog: Resolving Complex Queries with LLMs and Probabilistic Reasoning [51.58235452818926]
  そこで我々は,論理的推論から述語レベルの妥当性推定を分離するニューロシンボリック検索フレームワークOrLogを紹介する。 大規模言語モデル (LLM) は1つの復号のない前方通過において原子述語に対する可視性スコアを提供し、確率論的推論エンジンはクエリ満足度の後方確率を導出する。
  論文  参考訳（メタデータ） (2026-01-30T15:31:58Z)
• CORG: Generating Answers from Complex, Interrelated Contexts [57.213304718157985]
  現実世界のコーパスでは、知識は文書間で頻繁に再帰するが、曖昧な命名、時代遅れの情報、エラーのためにしばしば矛盾を含む。 以前の研究では、言語モデルはこれらの複雑さに苦しむことが示されており、典型的には孤立した単一要因に焦点を当てている。 複数のコンテキストを個別に処理されたグループに整理するフレームワークであるContext Organizer (CORG)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T02:40:48Z)
• Athanor: Local Search over Abstract Constraint Specifications [2.3383199519492455]
  本稿では,制約モデルとして受け入れる汎用ローカルサーチソルバに着目した。 ここで説明するAthanorソルバは、抽象制約仕様言語Essenceにおける問題の仕様から始まります。
  論文  参考訳（メタデータ） (2024-10-08T11:41:38Z)
• SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
  時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。 本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。 本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-06T16:08:17Z)
• Benchmarking Complex Instruction-Following with Multiple Constraints Composition [72.82640456309821]
  大規模言語モデル(LLM)の複雑な命令追従能力の評価方法が重要な研究課題となっている。 既存のベンチマークは主に、異なる制約の構成を無視しながら、人間の指示で異なるタイプの制約をモデル化することに焦点を当てている。 複数の制約からなる複雑な命令に従うLLMの能力を総合的に評価するためのベンチマークである ComplexBench を提案する。
  論文  参考訳（メタデータ） (2024-07-04T14:50:45Z)
• CodeComplex: Dataset for Worst-Case Time Complexity Prediction [7.974618854858136]
  コード時間の複雑さ予測には、変数の入力範囲や条件ループなど、様々な複雑な要素が含まれる。 現在のベンチマークは、限られたデータ、言語制約、不十分なラベリングのために厳格な評価を提供していない。 コード時間の複雑さを予測する上で,LSMの推論能力を評価するために設計された最初の堅牢で広範なデータセットであるCodeComplexを紹介した。
  論文  参考訳（メタデータ） (2024-01-16T06:54:44Z)
• XCSP3: An Integrated Format for Benchmarking Combinatorial Constrained Problems [3.149883354098941]
  新しいフォーマットはコンパクトで、可読性が高く、パースも比較的容易である。 XCSP3は、ほとんどすべての制約を包含している。 ユーザは、非常に正確な基準からインスタンスを選択するための洗練されたクエリを作成できる。
  論文  参考訳（メタデータ） (2016-11-10T17:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。