論文の概要: L0-Reasoning Bench: Evaluating Procedural Correctness in Language Models via Simple Program Execution

• arxiv url: http://arxiv.org/abs/2503.22832v1
• Date: Fri, 28 Mar 2025 18:54:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:34:30.896893
• Title: L0-Reasoning Bench: Evaluating Procedural Correctness in Language Models via Simple Program Execution
• Title（参考訳）: L0-Reasoning Bench:単純なプログラム実行による言語モデルにおける手続き的正確性の評価
• Authors: Simeng Sun, Cheng-Ping Hsieh, Faisal Ladhak, Erik Arakelyan, Santiago Akle Serano, Boris Ginsburg,
• Abstract要約: 複雑な推論タスクは、インクリメンタルなステップで単純なルールを一貫して正確に適用する能力に依存していることが多い。 手続き的正確性をテストするための言語モデルベンチマークであるL0-Benchを紹介する。 L0-Benchはステップバイステップでエラーのない実行トレースを生成する能力に基づいてモデルをグレードする。
• 参考スコア（独自算出の注目度）: 31.19899557805607
• License:
• Abstract: Complex reasoning tasks often rely on the ability to consistently and accurately apply simple rules across incremental steps, a foundational capability which we term "level-0" reasoning. To systematically evaluate this capability, we introduce L0-Bench, a language model benchmark for testing procedural correctness -- the ability to generate correct reasoning processes, complementing existing benchmarks that primarily focus on outcome correctness. Given synthetic Python functions with simple operations, L0-Bench grades models on their ability to generate step-by-step, error-free execution traces. The synthetic nature of L0-Bench enables systematic and scalable generation of test programs along various axes (e.g., number of trace steps). We evaluate a diverse array of recent closed-source and open-weight models on a baseline test set. All models exhibit degradation as the number of target trace steps increases, while larger models and reasoning-enhanced models better maintain correctness over multiple steps. Additionally, we use L0-Bench to explore test-time scaling along three dimensions: input context length, number of solutions for majority voting, and inference steps. Our results suggest substantial room to improve "level-0" reasoning and potential directions to build more reliable reasoning systems.
• Abstract（参考訳）: 複雑な推論タスクは、しばしば「レベル0」推論と呼ばれる基礎的な能力であるインクリメンタルステップをまたいだ単純なルールを一貫して正確に適用する能力に依存します。 この能力を体系的に評価するために、私たちは、手続き的正確性をテストするための言語モデルベンチマークであるL0-Benchを紹介します。 単純な操作を持つ合成Python関数が与えられた場合、L0-Benchはステップバイステップでエラーのない実行トレースを生成する能力をモデルとして評価する。 L0-ベンチの合成的性質は、様々な軸(例えば、トレースステップの数)に沿って、体系的でスケーラブルなテストプログラムの生成を可能にする。 ベースラインテストセット上で,最近のクローズドソースモデルとオープンウェイトモデルの多種多様な配列を評価する。 対象のトレースステップの数が増えるにつれて、すべてのモデルが劣化を示す一方で、より大きなモデルと推論強化モデルでは、複数のステップよりも精度が向上する。 さらに、L0-Benchを使用して、入力コンテキスト長、多数決のためのソリューションの数、推論ステップの3つの次元に沿ってテスト時間スケーリングを探索します。 以上の結果から,より信頼性の高い推論システムを構築するための「レベル0」推論と潜在的方向性を改善する余地が示唆された。

関連論文リスト

• Examining False Positives under Inference Scaling for Mathematical Reasoning [59.19191774050967]
  本稿では,言語モデルにおける数学的問題解決における偽陽性解の有効性を体系的に検討する。 擬陽性が言語モデルの推論時間スケーリング行動にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2025-02-10T07:49:35Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• TestBench: Evaluating Class-Level Test Case Generation Capability of Large Language Models [8.22619177301814]
  クラスレベルのLLMベースのテストケース生成のためのベンチマークであるTestBenchを紹介する。 GitHub上の9つの実世界の大規模プロジェクトから108のJavaプログラムのデータセットを構築します。 本稿では,構文的正当性,コンパイル的正当性,テスト的正当性,コードカバレッジ率,欠陥検出率という,テストケースの5つの側面を考慮した詳細な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-26T06:18:06Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models [13.532180752491954]
  大規模言語モデル(LLM)は、しばしばスケーリング法則に従う強力な一般化を持つ基礎モデルの例として記述される。 ここでは、強い関数を主張する全てのSOTAモデルの一般化と基本的推論の劇的な分解を示す。 また、間違った解法において強い過信感を観察し、妥当な音響的説明のような折り畳みの形で表現する。
  論文  参考訳（メタデータ） (2024-06-04T07:43:33Z)
• General Purpose Verification for Chain of Thought Prompting [16.381123651223763]
  大規模言語モデル(LLM)の推論能力を改善する方法について検討する。 我々は、モデルが推論中に従うべき3つの一般的な原則を提案する。 これらの制約をLLMが生成する推論ステップに適用し、最終生成の精度を向上させる。
  論文  参考訳（メタデータ） (2024-04-30T21:15:17Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning [75.74103236299477]
  CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-06-04T17:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。