論文の概要: PetriBench: Benchmarking LLM Reasoning over Dynamic State Spaces

• arxiv url: http://arxiv.org/abs/2609.19883v1
• Date: Thu, 17 Sep 2026 08:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.168595
• Title: PetriBench: Benchmarking LLM Reasoning over Dynamic State Spaces
• Title（参考訳）: PetriBench: 動的状態空間上でのLLM推論のベンチマーク
• Abstract要約: LLM推論を評価するための,コンパクトで完全自己完結型,スケーラブルなベンチマークである PetriBench を紹介する。 PetriBenchは、スコープと時間的水平線によって異なる4つのタスクファミリーに推論を整理する。 テストタイム計算は、パフォーマンスを改善するが、異なる推論タスクと異なる相互作用をし、手続き生成は構造的な複雑さを伴うスムーズなスケーリングをもたらす。
• 参考スコア（独自算出の注目度）: 10.34414102769066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Characterizing LLM reasoning remains an open challenge, as many existing benchmarks isolate specific reasoning skills, rely on external knowledge, or are costly to extend. We introduce PetriBench, a compact, fully self-contained, and scalable benchmark for evaluating LLM reasoning over dynamic state spaces using Petri nets, a mature formalism for modeling real-world concurrent and distributed systems. PetriBench organizes reasoning into four task families varying by scope and temporal horizon, with Easy, Medium, and Hard levels generated by increasing structural complexity and evaluated against exact ground truth. Across a diverse set of proprietary and open-weight models, accuracy decreases consistently with difficulty, while harder instances expose increasingly distinct task-specific capability profiles. Additional analyses show that test-time compute improves performance but interacts differently with different reasoning tasks, and that procedural generation yields smooth scaling with structural complexity. Together, these results show that PetriBench provides a unified and extensible setting for probing the strengths, limits, and scaling behavior of LLM reasoning.
• Abstract（参考訳）: LLM推論の特徴付けは、多くの既存のベンチマークが特定の推論スキルを分離したり、外部知識に依存したり、拡張するのにコストがかかるため、依然としてオープンな課題である。 我々は,ペトリネットを用いた動的状態空間上のLSM推論を評価するための,コンパクトで完全自己完結型かつスケーラブルなベンチマークであるPetriBenchを紹介した。 ペトリベンチは、構造的複雑さを増大させ、正確な基底真理に対して評価することによって、容易、中、硬度で、スコープと時間的地平によって異なる4つのタスクファミリーに推論を整理する。 プロプライエタリモデルとオープンウェイトモデルの多種多様なセットにおいて、精度は難易度とともに一貫して低下する一方、難しいインスタンスはタスク固有の機能プロファイルを徐々に明らかにする。 さらなる分析により、テスト時間計算は性能を向上させるが、異なる推論タスクと異なる相互作用をし、手続き生成は構造的な複雑さを伴うスムーズなスケーリングをもたらすことが示された。 これらの結果から, ペトリベンチはLLM推論の強度, 限界, スケーリングの振る舞いを探索するために, 統一的かつ拡張可能な設定を提供することが示された。

関連論文リスト

• Evaluating the Formal Reasoning Capabilities of Large Language Models through Chomsky Hierarchy [62.32144504442516]
  SOTA LLMが形式言語の構造的・階層的複雑性を把握できるかどうかは不明である。 ChomskyBench はchomsky Hierarchy のレンズを通して LLM を体系的に評価するためのベンチマークである。 ChomskyBenchは、各レベルで機能をテストするように設計された、言語認識と生成タスクの包括的なスイートで構成されている。
  論文  参考訳（メタデータ） (2026-04-03T04:06:39Z)
• LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks [58.3639630490749]
  実世界のアシスタントタスク上でLLMエージェントを評価するベンチマークであるLiveClawBenchを紹介する。 様々な実Clawの使用事例の分析に基づいて、三重軸複雑度フレームワークを導出する。 我々は,実世界のアシスタントタスクをカバーする,明示的な複雑性要素アノテーションを用いたパイロットベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-03-20T16:08:21Z)
• Task-Awareness Improves LLM Generations and Uncertainty [48.857040212979484]
  ベイズ最適応答は、ビームサーチのような標準的な復号法より一貫して優れている。 我々の決定論的なフレームワークは、潜在応答構造を持つあらゆる問題に適用できる。
  論文  参考訳（メタデータ） (2026-01-29T10:16:23Z)
• DecompSR: A dataset for decomposed analyses of compositional multihop spatial reasoning [47.25974222129337]
  合成空間推論能力を解析するためのフレームワークであるDecompSRを紹介する。 DecompSRの生成により、ユーザーは独立して構成性のいくつかの側面、すなわち生産性(推論深度)、置換性(エンタリティと言語的可変性)、過一般化(インプットオーダー、イントラクタ)、体系性(ノーベル言語要素)を変更できる。 DecompSRは、データセットの正確性を保証するために、シンボリック・ソルバを用いて独立に検証された、構築によって正しいように手続き的に構築される。
  論文  参考訳（メタデータ） (2025-11-04T14:57:11Z)
• Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time [35.31371938688921]
  テスト時間スケーリング(TTS)は、推論中にさらなる計算を割り当てることで、大規模言語モデル(LLM)の推論能力を高める。 本稿では,エキスパートアクティベーションを検索空間の制御可能な次元に高めるTTS戦略であるDynamic Experts Search (DES)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T16:49:10Z)
• HeroBench: A Benchmark for Long-Horizon Planning and Structured Reasoning in Virtual Worlds [0.0]
  大規模言語モデル(LLM)は、数学やプログラミングのようなステップバイステップの推論タスクにおいて顕著な能力を示している。 しかし、ソリューションが拡張され、構造化された相互依存的なアクションのシーケンスを必要とする長期計画におけるそれらの習熟度は、まだ未解明のままである。 我々は,RPGにインスパイアされた複雑な仮想世界において,長期計画と構造化推論を評価するために設計された新しいベンチマークであるHeroBenchを紹介する。
  論文  参考訳（メタデータ） (2025-08-18T09:59:02Z)
• StoryBench: A Dynamic Benchmark for Evaluating Long-Term Memory with Multi Turns [7.60350050736492]
  長期記憶は、自律的な知性を達成するために、大規模言語モデルにとって不可欠である。 既存のベンチマークでは、知識保持と動的シーケンシャル推論を評価する上で、課題に直面している。 インタラクティブなフィクションゲームに基づく新しいベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-16T10:54:31Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• RelationalFactQA: A Benchmark for Evaluating Tabular Fact Retrieval from Large Language Models [9.211266032947497]
  我々は,事実検索が孤立点問合せよりもかなり難しいことを実証した。 我々の実験では、最先端のLLMでさえ25%以上の精度で苦戦していることがわかった。 これらの知見は、構造化された事実知識を合成する現在のLLMの能力において、重要な限界である。
  論文  参考訳（メタデータ） (2025-05-27T16:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。