論文の概要: Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2610.29507v1
• Date: Wed, 21 Oct 2026 09:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.307489
• Title: Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs
• Title（参考訳）: 時間と理解の時間:LLMにおける時間的推論を説明できない
• Abstract要約: ベンチマークによって算術的あるいは意味的にラベル付けされたタスクが、指定モード内で転送可能なゲインをサポートするかどうかをテストする。 これらのサブセットを微調整すると、主にデータセット固有のゲインが得られ、同じモードの異なるデータセットへの転送は、$-3.2$から$+1.1$のパーセンテージポイントである。 時間的算術と時間的意味論の仮定されたプロキシである量的および論理的推論が第一の要因ではなく、知識である。
• 参考スコア（独自算出の注目度）: 66.8833561548902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal reasoning is widely assumed to decompose into two modes: temporal arithmetic (date and time calculations), and temporal semantics (understanding temporal and causal relations). This dichotomy shapes how benchmarks are designed, how models are trained, and how progress is measured, yet its empirical validity has never been directly tested. We provide two lines of evidence that challenge it. First, we test whether tasks labelled as arithmetic or semantic by the benchmarks support transferable gains within their purported mode. Finetuning on these subsets yields predominantly dataset-specific gains ($+6.8$ to $+23.1$ percentage points), while transfer to a different dataset in the same mode ranges from $-3.2$ to $+1.1$ percentage points. Across the two benchmark families used in the transfer analysis, this pattern provides little evidence of coherent, transferable temporal abilities. Second, using cognitive-demand-based model evaluation, we examine which capabilities actually drive performance on these benchmarks. We find that quantitative and logical reasoning, the assumed proxies for temporal arithmetic and temporal semantics, are not the primary drivers; knowledge is. Together, these findings show that current temporal reasoning benchmarks do not cleanly realise the arithmetic-semantics distinction and instead largely reward models for remembering how time typically works.
• Abstract（参考訳）: 時間的推論は、時間的算術(日付と時刻の計算)と時間的意味論(時間的および因果関係の理解)の2つのモードに分解されると広く考えられている。 この二分法は、ベンチマークの設計方法、モデルのトレーニング方法、進捗の測定方法を形成するが、その経験的妥当性は直接テストされていない。 私たちはそれに挑戦する2つの証拠を提示します。 まず、ベンチマークによって算術的あるいは意味的にラベル付けされたタスクが、指定モード内で転送可能なゲインをサポートするかどうかをテストする。 これらのサブセットを微調整すると、データセット固有の利得(+6.8$から$+23.1$パーセンテージポイント)が、同じモードの異なるデータセットへの転送は、$-3.2$から$+1.1$パーセンテージポイントである。 転送解析で使用される2つのベンチマークファミリの中で、このパターンはコヒーレントで転送可能な時間的能力の証拠をほとんど示さない。 第二に、認知的要求に基づくモデル評価を用いて、これらのベンチマークのパフォーマンスを実際に駆動する機能について検討する。 時間的算術と時間的意味論の仮定されたプロキシである量的および論理的推論が第一の要因ではなく、知識である。 これらの結果は、現在の時間的推論ベンチマークが算術・意味論の区別をきれいに実現せず、代わりに時間がどのように機能するかを記憶するためのモデルに大きく報いることを示している。

関連論文リスト

• Identifiability of a dissipative knowledge-dynamics model: exact recovery under designed excitation, degeneration on observational data [0.0]
  熟達は実践を通じて蓄積し、忘れることを通じて崩壊し、相互に依存する概念をまたいで伝播する。 これらのパラメータが実際にデータから回収できるかどうかを調査する。 モデルの定常構造にその効果を辿り、理論が期待する退化と一致していることを示す。
  論文  参考訳（メタデータ） (2026-10-07T11:50:29Z)
• From Prompts to Pavement Through Time: Temporal Grounding in Agentic Scene-to-Plan Reasoning [1.2777067998526854]
  本研究は, エージェント間コミュニケーションにおける時間的条件付けが, 意味的・論理的一貫性の低下を伴わずにコヒーレンスを維持・強化できるかどうかを考察する。 その結果,時間的条件付けは推論スタイルに反するが,標準NLPに基づく正当性測定では統計的に有意な改善は得られなかった。 これらの結果から,プロンプトベースの時間的接地限界を明らかにし,時間的シーンから計画的推論のための最初の経験的基準を確立した。
  論文  参考訳（メタデータ） (2026-05-19T13:18:35Z)
• Efficient Test-Time Scaling via Temporal Reasoning Aggregation [5.87118425760756]
  本稿では,効率的なテスト時間スケーリングのためのトレーニングフリーフレームワークであるTRACEを提案する。 TRACEは、多段階証拠の時間的集約に基づいて推論を終了するタイミングを決定する。 TRACEは1～2%の精度を保ちながら平均25～30%の推論トークン使用率を低下させることを示した。
  論文  参考訳（メタデータ） (2026-04-19T07:39:40Z)
• Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
  動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。 本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。 結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-11-28T18:59:58Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• TRAM: Benchmarking Temporal Reasoning for Large Language Models [12.112914393948415]
  10個のデータセットからなる時間的推論ベンチマークであるTRAMを紹介する。 GPT-4やLlama2のような一般的な言語モデルをゼロショットや少数ショットのシナリオで評価する。 以上の結果から,最も優れたモデルラグは人的パフォーマンスに大きく遅れていることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T00:59:07Z)
• Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
  時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。 TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。 共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。