論文の概要: A Temporal Reasoning Benchmarking Framework for LRMs via Difficulty-controlled and Dynamic Test Generation

• arxiv url: http://arxiv.org/abs/2607.04784v1
• Date: Mon, 06 Jul 2026 08:14:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.086146
• Title: A Temporal Reasoning Benchmarking Framework for LRMs via Difficulty-controlled and Dynamic Test Generation
• Title（参考訳）: 難易度制御および動的テスト生成によるLEMの時間推論ベンチマークフレームワーク
• Abstract要約: 本稿では,時間的推論を制約満足度問題としてモデル化するテストフレームワークTRACEを紹介する。 TRACE は LRM の真の時間的推論能力をベンチマークするための堅牢で自動化されたプラットフォームを提供する。
• 参考スコア（独自算出の注目度）: 11.290047096794082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Defining the reasoning boundaries and ensuring the reliability of Large Reasoning Models (LRMs) remains a critical challenge. Current benchmarks primarily rely on static datasets susceptible to data contamination or synthetic tasks lacking fine-grained difficulty control. Furthermore, standard outcome-based evaluations often conceal reasoning flaws by neglecting the reasoning process. To address these limitations, we introduce TRACE, a testing framework that models temporal reasoning as constraint satisfaction problems via Allen's Interval Algebra. This approach enables precise regulation of logical complexity and incorporates a Trace-Based Verification Oracle to validate reasoning faithfulness. Using this framework, we construct TRACEBench, an extensive benchmark comprising 1,200 synthesized test instances across graded difficulty levels. We employ TRACE to evaluate eight widely used LRMs on TRACEBench. The results confirm a strong negative correlation between model performance and our difficulty metric (Pearson's r approximately -0.96), validating the effectiveness of our difficulty control mechanism. Moreover, our trace-based analysis exposes significant discrepancies between reasoning validity and final answers, revealing a high spurious guessing rate of approximately 28% in mid-sized models. In addition, we diagnose scale-dependent failure modes, ranging from Degenerative Loops in small models to Reasoning Explosion in advanced architectures. TRACE thus provides a robust, automated platform for benchmarking the true temporal reasoning capabilities of LRMs.
• Abstract（参考訳）: 推論境界を定義し、LRM(Large Reasoning Models)の信頼性を確保することは、依然として重要な課題である。 現在のベンチマークは主に、データの汚染や、きめ細かい難易度制御に欠ける合成タスクに影響を受けやすい静的データセットに依存している。 さらに、標準的な結果に基づく評価は、推論プロセスを無視して推論の欠陥を隠蔽することが多い。 このような制限に対処するため,時間的推論をAllenのInterval Algebraを通じて制約満足度問題としてモデル化するテストフレームワークであるTRACEを紹介した。 このアプローチは論理的複雑性の厳密な規制を可能にし、Oracleのトレースベースの検証を取り入れて、推論の忠実さを検証する。 このフレームワークを用いて、1200の合成テストインスタンスをグレード付き難易度で構成した広範囲なベンチマークであるTRACEBenchを構築した。 TRACEBench 上で広く用いられている 8 個の LRM の評価に TRACE を用いる。 その結果、モデル性能と難易度との間には強い負の相関(ピアソン r 約-0.96)が認められ、難易度制御機構の有効性が検証された。 さらに, 微量分析の結果, 推理妥当性と最終回答との間に有意な差がみられ, 中規模モデルでは約28%の急激な推算率を示した。 さらに,小型モデルにおける縮退ループから高度なアーキテクチャにおけるReasoning Explosionまで,スケール依存の障害モードを診断する。 TRACEは、LEMの真の時間的推論能力をベンチマークするための堅牢で自動化されたプラットフォームを提供する。

関連論文リスト

• Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models [46.26628756478016]
  大規模言語モデル(LLM)は、事前学習データにおける共用推論パターンを通じて推論能力を取得することが知られている。 コンフリクト中に信頼性スコアが著しく低下するため、推論競合は内部で検出可能であることを示す。 その結果, LLM推論は具体例に固定されているものの, アクティブな機械的介入は論理的スキーマをデータから効果的に切り離すことができることがわかった。
  論文  参考訳（メタデータ） (2026-04-29T22:55:40Z)
• Empirical Evidence of Complexity-Induced Limits in Large Language Models on Finite Discrete State-Space Problems with Explicit Validity Constraints [0.6524460254566904]
  問題複雑性の増大にともなうLarge Reasoning Models (LRM) における推論の頑健さを系統的に評価した。 我々は,9つの古典的推論タスク,ブール満足度,クリプトリズム,グラフカラーニング,河川横断,ハノイ塔,ウォータージャグ,チェッカージャンプ,スドゥーク,ルービックキューブを構築した。 非一貫性な推論トレース,制約違反,状態追跡の喪失,確実な不正確なアウトプットを伴って,50%を超える相当な精度低下を観測する。
  論文  参考訳（メタデータ） (2026-04-15T00:35:22Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction [78.0692157478247]
  本稿では,知識駆動型エージェント推論を用いて,データ駆動型静的予測を橋渡しするフレームワークSTARを提案する。 STARはスコアベースとランクベースの両方の基準線を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-12T16:30:07Z)
• Evaluating and Enhancing the Vulnerability Reasoning Capabilities of Large Language Models [15.849480549367684]
  本稿では,DAG生成タスクとして脆弱性推論をモデル化する新しいフレームワークであるDAGVulを提案する。 さらにReinforcement Learning with Verifiable Rewards (RLVR)を導入することで、モデル推論トレースをプログラム固有の論理と整合させる。 我々のフレームワークは、すべてのベースラインに対して平均18.9%の推論F1スコアを改善します。
  論文  参考訳（メタデータ） (2026-02-06T13:19:45Z)
• Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering [50.63386303357225]
  本稿では,ニューロンの活性化に選択的に介入することで推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。 AdaRASは、極性を意識した平均差基準を介してReasoning-Critical Neurons(RCN)を特定し、推論中にアクティベーションを適応的に制御する。 10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-01-27T17:53:01Z)
• ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning [2.1461777157838724]
  ReasonBENCHは,大規模言語モデル(LLM)推論における基盤不安定性を定量化する最初のベンチマークである。 異なる領域からのタスク全体で、推論戦略とモデルの大部分は高い不安定性を示す。 我々はさらに、解答率と安定性のトレードオフに対するプロンプト、モデル家族、スケールの影響を解析する。
  論文  参考訳（メタデータ） (2025-12-08T18:26:58Z)
• RationAnomaly: Log Anomaly Detection with Rationality via Chain-of-Thought and Reinforcement Learning [27.235259453535537]
  RationAnomalyは、Chain-of-Thoughtファインチューニングと強化学習を相乗化することにより、ログの異常検出を強化する新しいフレームワークである。 コードとデータセットを含む、対応するリソースをリリースしました。
  論文  参考訳（メタデータ） (2025-09-18T07:35:58Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。