論文の概要: ArgGYM: A Procedural, Engine-Verified Benchmark for Structured Defeasible Reasoning

• arxiv url: http://arxiv.org/abs/2609.38409v1
• Date: Tue, 29 Sep 2026 19:03:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.622853
• Title: ArgGYM: A Procedural, Engine-Verified Benchmark for Structured Defeasible Reasoning
• Title（参考訳）: ArgGYM: 構造化可能な推論のための手続き的、エンジン認証ベンチマーク
• Abstract要約: ArgGYMは、構造化デファシブル推論のための手続き的ベンチマークとRLVR互換のトレーニング環境である。 この推論を12のタスクに分解し、シンボリックな議論エンジンでタスク固有のスコア付けを行う。 15のカリキュラム構成で1,440の検証済みインスタンスの凍結ベンチマークが含まれている。
• 参考スコア（独自算出の注目度）: 1.003770018115781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in large language model reasoning has been driven by benchmarks and reinforcement learning environments with automatically verifiable rewards, particularly in mathematics, code, and formal logic. These settings make model accuracy easier to evaluate and optimize, but it remains unclear how far success under fixed problem specifications and stable evaluation criteria transfers to reasoning outside such domains. Real-world reasoning often proceeds under incomplete and revisable information: conclusions may be supported provisionally, defeated by counter-evidence, reinstated by further arguments, or revised when stronger reasons become available. Reasoning of this kind is generally referred to as defeasible reasoning. We introduce ArgGYM, a procedural benchmark and RLVR-compatible training environment for structured defeasible reasoning. ArgGYM decomposes this reasoning into twelve tasks and grounds task-specific scoring in a symbolic argumentation engine that computes the formal states used to evaluate model outputs. It includes a frozen benchmark of 1,440 verified instances across fifteen curriculum configurations, two argument preference orderings (weakest-link and last-link), and two set orderings (elitist and democratic), while the same generators and verifiers can produce fresh instances for evaluation that reduces dependence on static test sets and for verifiable-reward training. On the frozen benchmark, frontier and open-weight models show sharply different reasoning profiles: they can recover substantial parts of structured answers without solving the complete task, and performance declines in later curriculum configurations with longer dependencies and more interacting structures. We release the benchmark, generators, and verifiers for reproducible evaluation and RLVR training.
• Abstract（参考訳）: 大規模言語モデル推論の最近の進歩は、特に数学、コード、形式論理において、自動的に検証可能な報酬を持つベンチマークと強化学習環境によって推進されている。 これらの設定により、モデルの精度の評価と最適化が容易になるが、固定された問題仕様と安定した評価基準が、そのような領域の外での推論にどの程度成功したかは定かではない。 結論はしばしば不完全で修正可能な情報の下で進行する:結論は仮に支持され、反証拠によって破られ、さらなる議論によって復活されるか、より強い理由が利用可能になったときに修正される。 この種の推論は一般にデファシブル推論(defeasible reasoning)と呼ばれる。 本稿では,プロシージャベンチマークであるArgGYMとRLVR互換の学習環境について紹介する。 ArgGYMはこの推論を12のタスクに分解し、モデル出力を評価するのに使用される形式状態を計算するシンボリック議論エンジンでタスク固有のスコアリングを基礎とする。 15のカリキュラム構成にまたがる1,440の検証済みインスタンスのフリーズベンチマーク、2つの引数優先順序付け(weakest-linkと last-link)、2つのセット順序付け(elitistと Democrat)、そして、同じジェネレータと検証器は、静的テストセットへの依存を減らし、検証可能なリワードトレーニングのために、新しいインスタンスを生成することができる。 フリーズされたベンチマークでは、フロンティアとオープンウェイトモデルは、完全なタスクを解決せずに構造化された回答のかなりの部分を復元し、より長い依存関係とより対話的な構造を持つ後のカリキュラム構成のパフォーマンス低下を示す。 再現可能な評価とRLVRトレーニングのためのベンチマーク、ジェネレータ、検証器をリリースする。

関連論文リスト

• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• Forethought: Verifiable Reasoning from Neurosymbolic Primitive Programming [0.764671395172401]
  Forethoughtは、推論を明示的で検証可能なプログラムとして扱う神経象徴的推論システムである。 ベースモデルの精度を約30%向上し、バニラのプロンプト、強化学習足場、即時進化法に勝る。
  論文  参考訳（メタデータ） (2026-07-05T03:20:23Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Playing Psychic: Using Thought Trees to Predict Reasoning Models Accuracy on Coding Tasks [7.675768582345005]
  実世界のコーディングベンチマークにおいて,フロンティア推論モデルを用いてそれらの性能について考察する。 そこで我々は,論理的トレースを表現する手段として,構造化思考木を提案する。 抽出した特徴に基づく構造的異常トレースのフラグ付けと再試行により,より低い複雑性レベルで一貫した利得が得られることを示す。
  論文  参考訳（メタデータ） (2026-04-18T09:30:36Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• Structured Reasoning for Large Language Models [59.215789462977206]
  本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。 SCRは推論効率と自己検証を大幅に改善する。 既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
  論文  参考訳（メタデータ） (2026-01-12T04:04:01Z)
• Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search [62.1546099504045]
  本稿では、推論を計画と実行に分離する二相テストタイムスケーリングフレームワークを提案する。 具体的には、推論軌跡を分解し、各フェーズの報酬モデルを構築し、探索者が個別に計画と実行を探索、実行できるようにする。 数学的推論とコード生成ベンチマークの両方の実験により、我々の手法は計算の冗長性を低減しつつ、常に精度を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-29T19:27:23Z)
• STRIVE: Structured Reasoning for Self-Improvement in Claim Verification [30.15803409441136]
  自己改善検証のための構造化推論を提案する。 本稿では,Crim Decomposition,Entity Analysis,Evidence Grounding Verificationを用いた構造化推論設計を提案する。 その後、すべてのトレーニング例に対して推論連鎖を生成するために適用され、その後の自己改善トレーニングのために正確で構造的に健全なもののみを選択する。
  論文  参考訳（メタデータ） (2025-02-17T16:07:07Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。