論文の概要: Do Time-Series QA Systems Read the Time Series? Evidence Use and Reasoning Reliability

• arxiv url: http://arxiv.org/abs/2610.05686v1
• Date: Mon, 05 Oct 2026 01:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 05:02:55.043234
• Title: Do Time-Series QA Systems Read the Time Series? Evidence Use and Reasoning Reliability
• Title（参考訳）: 時系列QAシステムは時系列を読むか?
• Abstract要約: 我々は,時系列質問応答システムであるTime Omni-1,ChatTS,Time Omni-VL,Time-MQAを評価することに集中する。 総合的な性能だけでは、システムが数値的な証拠をどのように利用するのかを曖昧にすることができる。 また,実際の根拠付け,推測の妥当性,最終回答との整合性についても検討した。
• 参考スコア（独自算出の注目度）: 25.542485881121053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, time-series question answering (QA) systems have made significant progress. However, generating a correct answer does not show whether retaining the supplied numerical series improves task performance, nor whether the prediction is sensitive to changes in that input. While some systems provide rationales, answer accuracy also does not show whether their numerical claims are grounded in the supplied series or whether the stated inference is valid. In this work, we focus on evaluating four time-series QA systems: TimeOmni-1, ChatTS, TimeOmni-VL, and Time-MQA. First, for three systems with released evaluation data, we reproduce their reported results and compare the performance of the systems with their backbones. Then, we introduce a benchmark named COMMON-TSQA, which collects public evaluation datasets from existing time-series benchmarks and unifies their sample representation, task definitions, and answer schemas, while evaluating each system through its own interface under common evaluation criteria. The evaluation uses the original condition and six interventions while keeping the question and target fixed. Our analysis shows that aggregate performance alone can obscure how systems use numerical evidence. Similar task-level scores can arise despite substantial changes in individual predictions. Some interventions induce simple fallback behavior rather than preserved task ability. We also evaluate rationales for factual grounding, inference validity, and consistency with the final answer. We find that rationales often contain time-series claims unsupported by the input. Moreover, the rationale audit shows that agreement between a rationale and its final answer can coexist with incorrect numerical descriptions or invalid intermediate inferences.
• Abstract（参考訳）: 近年,時系列質問応答 (QA) システムは大きな進歩を遂げている。 しかし、正しい回答を生成することは、供給された数値列の保持がタスク性能を向上させるか、その入力の変化に敏感であるかどうかを示すものではない。 一部のシステムは合理性を提供するが、答えの正確性は、それらの数値的主張が供給された系列に根拠づけられているかどうか、あるいは、記述された推論が有効であるかどうかを示さない。 本研究では,時系列QAシステムであるTimeOmni-1,ChatTS,TimeOmni-VL,Time-MQAについて検討する。 まず, 評価データを公開している3つのシステムについて, 報告結果を再現し, システムの性能とバックボーンを比較した。 そして、COMMON-TSQAというベンチマークを導入し、既存の時系列ベンチマークから公開評価データセットを収集し、サンプル表現、タスク定義、回答スキーマを統一するとともに、共通の評価基準の下で各システムの評価を行う。 評価は、元の条件と6つの介入を使用して、質問とターゲットを固定する。 分析の結果、集計性能だけでは、システムが数値的な証拠をどう使うかは明らかでないことがわかった。 同様のタスクレベルのスコアは、個々の予測に大きな変化があるにもかかわらず生じる可能性がある。 いくつかの介入は、維持されたタスク能力よりも単純なフォールバック行動を引き起こす。 また,実際の根拠付け,推測の妥当性,最終回答との整合性についても検討した。 合理性には、しばしば入力が支持しない時系列のクレームが含まれる。 さらに、合理性監査は、合理性とその最終的な答えの一致が、誤った数値記述や不正な中間推論と共存可能であることを示す。

関連論文リスト

• TRACE: Temporal Audit and Condition-aware Evaluation of Streaming Video Understanding [13.520645078385343]
  TRACE (Temporal Audit and Condition-Aware Evaluation) は条件対応のベンチマークおよび評価フレームワークである。 517本の動画から1,240枚の記録を収集し、8つの構成で8つの公開モデルやシステムを評価した。 ほぼ同一のQA精度は、完成率、正解率、生成負荷のかなりの差を隠蔽できることがわかった。
  論文  参考訳（メタデータ） (2026-09-25T01:21:25Z)
• Time-Series Foundation Models That Understand Data Revisions [0.0]
  VINTAGE-TSは時系列基礎モデルのリビジョン対応である。 そのターゲットは、次の期間の最初の発行された価値であり、その発表の数日後に利用可能な価値である。 ALFREDに基づくローリング評価,一致したクロノス2の比較,従来およびリビジョン対応ベースライン,事前学習重複の個別監査を行う。
  論文  参考訳（メタデータ） (2026-09-23T12:29:23Z)
• CoArena: Evaluating Computer-Use and Multi-Agent Systems in Real Time [0.0]
  CoArenaは直接使用します。 実時間で5つの測定可能な特性。 211票の5システム例は、投票行列からレーティング、インターバル、ランクバンドに運ばれる。
  論文  参考訳（メタデータ） (2026-09-13T02:22:37Z)
• TimeSage-EV: A Live Benchmark for Agentic Time Series Analysis in Evolving Environments [46.167956432673776]
  TimeSage-EVは、進化する環境におけるエージェント時系列分析のためのライブベンチマークである。 2023年2月から2026年5月までの1,485のシナリオ周期QAペアで構成されている。 TimeSage-EVは状態識別、データの要約、展望推論を評価する。
  論文  参考訳（メタデータ） (2026-08-14T12:53:21Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems [52.91956121737963]
  我々は,予測システムの推論能力を評価するための最初のベンチマークであるTFRBenchを紹介する。 本稿では,反復的検証ループを用いて,数値的に基底となる推論トレースを合成するマルチエージェント・フレームワークを提案する。 評価は,この推論が因果的に有効であること,評価に有用であること,生成したトレースでLSMを誘導することにより,予測精度が大幅に向上することを確認した。
  論文  参考訳（メタデータ） (2026-04-07T03:04:45Z)
• LLM-as-a-Judge for Time Series Explanations [7.771378647684901]
  本研究では,参照自由条件下での時系列記述のジェネレータおよび評価器として,大規模言語モデルについて検討する。 我々は、7種類のクエリータイプに対して350の時系列ケースのベンチマークを構築し、それぞれが正しい、部分的に正しい、誤った説明をペアリングした。 我々は、説明生成、相対ランク付け、独立スコアリング、複数異常検出の4つのタスクにわたるモデルを評価する。
  論文  参考訳（メタデータ） (2026-04-02T14:55:25Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。