論文の概要: TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction

• arxiv url: http://arxiv.org/abs/2609.24677v1
• Date: Mon, 21 Sep 2026 14:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.006475
• Title: TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction
• Title（参考訳）: TimeLitmus: イベント記述型時系列予測における横断的理解と説明の忠実度に関する診断ベンチマーク
• Abstract要約: TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。 TimeLitmusには財務と交通の計4,856件の評価記録がある。
• 参考スコア（独自算出の注目度）: 48.104261148149654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to make predictions from numerical time-series histories and textual events. Yet accuracy alone cannot reveal whether correct answers reflect effective integration of the two inputs or instead arise from event polarity, unimodal priors, or superficial cues. Likewise, plausible explanations may rationalize predictions without faithfully reflecting the evidence that drives model behavior. We introduce TimeLitmus, a diagnostic benchmark for cross-modal understanding and explanation faithfulness in event-conditioned time-series prediction. TimeLitmus contains 4,856 evaluation records across Finance and Traffic, combining natural prediction with controlled counterfactual and contrastive interventions, explanation-targeted faithfulness tests, and systematic shortcut controls. Across ten representative LLMs, standard prediction accuracy substantially overstates reliable cross-modal understanding: Hard Paired Contrast (HPC) pair correctness peaks at only 19.2% in Finance and 11.7% in Traffic, and all ten models show lower-than-expected consistency on Finance series-side controls. Models often recognize scenario relations explicitly yet fail to apply them during independent prediction. Explanation faithfulness shows a similar gap: in Traffic, most models cite the manipulated temporal factor in over 90% of cases, while behavioral support remains below 22%. Human annotators outperform LLMs on matched controlled and hard-pair diagnostics, confirming that these distinctions are recoverable from the inputs. Natural-only adaptation yields selective gains in evidence selection and input sensitivity, but not consistent gains in controlled or hard-pair behavior. The benchmark, evaluation suite, and supervised adaptation data will be released publicly.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数値的な時系列履歴やテキストイベントから予測するために、ますます使われるようになっている。 しかし、正確性だけでは、正しい答えが2つの入力の効果的な統合を反映しているか、むしろ事象の極性、一過性の先行、または表面的な手がかりから生じるのかは明らかにできない。 同様に、もっともらしい説明は、モデル行動を引き起こす証拠を忠実に反映することなく、予測を合理化することができる。 我々は、イベント条件付き時系列予測における相互理解と説明忠実度に関する診断ベンチマークであるTimeLitmusを紹介する。 TimeLitmusには、財務と交通に関する4,856件の評価記録が含まれており、自然予測とコントロールされた反ファクト的およびコントラスト的介入、説明対象の忠実性テスト、体系的なショートカットコントロールが組み合わされている。 ハードペアコントラスト(HPC)ペアの正しさは、ファイナンスで19.2%、トラフィックで11.7%とピークに達し、これら10モデルは全て、ファイナンス・シリーズ側の制御において、予想より低い整合性を示している。 モデルはしばしばシナリオ関係を明示的に認識するが、独立予測では適用できない。 多くのモデルは、操作された時間的要因を90%以上のケースで引用しているが、行動支援は22%以下である。 ヒトのアノテータは、一致した制御された診断とハードペアの診断においてLSMよりも優れており、これらの区別が入力から回復可能であることを確認している。 自然にのみ適応すると、エビデンスの選択や入力感度において選択的な利得が得られるが、制御されたりハードペアな振る舞いでは一貫した利得は得られない。 ベンチマーク、評価スイート、教師付き適応データなどが公開される予定だ。

関連論文リスト

• LiFTER: A Grounded Neuro-Symbolic Microscope for Continuous-Time Dynamic Graph Forecasting [0.0]
  連続時間動的グラフモデルは、過去の相互作用をニューラルステートに圧縮することで将来のリンクを予測する。 LiFTERは、観測された相互作用を時間的事実として保存する神経共生予測器である。 LiFTERは、競合する歴史的負の予測を達成し、c-カレンシーと削除忠実度が最も高いマクロ説明を行う。
  論文  参考訳（メタデータ） (2026-08-07T03:39:09Z)
• EVEREST: An Evidential, Tail-Aware Transformer for Rare-Event Time-Series Forecasting [4.551615447454767]
  EVERESTは確率的レアイベント予測のためのトランスフォーマーベースのアーキテクチャである。 キャリブレーションされた予測とテールアウェアのリスク推定を提供する。 産業監視、天気予報、衛星診断などの高度な分野に適用できる。
  論文  参考訳（メタデータ） (2026-01-26T23:15:20Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• Evidential time-to-event prediction with calibrated uncertainty quantification [12.446406577462069]
  Time-to-event分析は、臨床予後と治療勧告に関する洞察を提供する。 本稿では,時間とイベントの予測に特化して設計された明らかな回帰モデルを提案する。 我々のモデルは正確かつ信頼性の高い性能を提供し、最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-12T15:06:04Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。