論文の概要: WaveformQA: Benchmarking LLM Temporal Reasoning on Digital Waveforms
- arxiv url: http://arxiv.org/abs/2607.20638v1
- Date: Wed, 22 Jul 2026 18:10:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.185247
- Title: WaveformQA: Benchmarking LLM Temporal Reasoning on Digital Waveforms
- Title(参考訳): WaveformQA:デジタル波形を用いたLLMテンポラル推論のベンチマーク
- Authors: Yichuan Liu, Daniel Cummings, Nick Vadlamudi,
- Abstract要約: 大規模言語モデル(LLM)は、コード生成と推論において強力な能力を示している。
WaveformQAは、デジタル波形に対する時間的推論のためのオープンソースのベンチマークである。
- 参考スコア(独自算出の注目度): 0.8793721044482612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated strong capabilities in code generation and reasoning, yet their ability to perform temporal reasoning over digital waveform data remains largely unexplored. Although reasoning over digital waveforms is a critical bottleneck in design verification, existing benchmarks primarily evaluate hardware description language (HDL) code generation and use waveforms only as supplementary context. This paper presents WaveformQA, an open-source question-answering benchmark for evaluating LLM temporal reasoning over digital waveforms. The benchmark comprises 360 questions with programmatically generated ground truths across eight categories of varying difficulty, including questions targeting multi-signal correlation and event ordering. Waveforms are generated from open-source design implementations, ensuring reproducibility and grounding the benchmark in real hardware behavior. Evaluation of frontier LLMs reveals that while models achieve reasonable accuracy on simple queries, performance degrades due to context window limitations and reasoning difficulties on complex temporal and multi-step questions. In addition, we show that an event-time JSON representation of waveforms improves LLM reasoning accuracy versus the standardized value change dump (VCD) format. The open-source framework supports extending to new question categories and importing new waveform sources, enabling researchers to rapidly prototype temporal reasoning experiments.
- Abstract(参考訳): 大規模言語モデル(LLM)は、コード生成と推論において強力な能力を示してきたが、デジタル波形データに対する時間的推論を行う能力は、まだ明らかにされていない。
デジタル波形に対する推論は設計検証において重要なボトルネックであるが、既存のベンチマークは主にハードウェア記述言語(HDL)のコード生成を評価し、補足的な文脈でのみ波形を使用する。
本稿では,LLMの時間的推論をディジタル波形上で評価するためのオープンソースの質問応答ベンチマークであるWaveformQAを提案する。
このベンチマークは、多信号相関とイベント順序を対象とする質問を含む8つの難解なカテゴリーでプログラム的に生成された基底真理を含む360の質問からなる。
ウェーブフォームは、オープンソースの設計実装から生成され、再現性を確保し、実際のハードウェア動作でベンチマークを基盤とする。
モデルが単純なクエリに対して妥当な精度を達成する一方で、コンテキストウィンドウの制限と複雑な時間的および多段階の質問に対する推論の難しさにより、性能が低下することが明らかになった。
さらに、波形のイベント時JSON表現により、標準値変更ダンプ(VCD)フォーマットよりもLCM推論精度が向上することを示す。
オープンソースのフレームワークは、新しい質問カテゴリへの拡張と新しい波形ソースのインポートをサポートしており、研究者は時間的推論実験を迅速にプロトタイプ化することができる。
関連論文リスト
- Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting [14.762301824375834]
大言語モデル(LLM)は、異種テキスト信号を統合することができるため、コンテキスト対応の時系列予測には魅力的である。
本研究では,TempoWaveを提案する。TempoWaveは,各スカラー観測をマルチウェーブレット,マルチスケール係数から構築したディジタルワイド埋め込みにマッピングする,時間的ウェーブレットディジットインタフェースである。
論文 参考訳(メタデータ) (2026-06-25T00:44:09Z) - Not in Sync: Unveiling Temporal Bias in Audio Chat Models [59.146710538620816]
大規模音声言語モデル(LALM)は、音声理解やマルチモーダル推論にますます応用されている。
LALMにおける時間バイアスに関する最初の体系的研究を行い,その時間スタンプ予測における重要な限界を明らかにした。
論文 参考訳(メタデータ) (2025-10-14T06:29:40Z) - A Unified Frequency Domain Decomposition Framework for Interpretable and Robust Time Series Forecasting [81.73338008264115]
時系列予測の現在のアプローチは、時間領域であれ周波数領域であれ、主に線形層やトランスフォーマーに基づいたディープラーニングモデルを使用する。
本稿では,多種多様な時系列を数学的に抽象化する統合周波数領域分解フレームワークFIREを提案する。
火は長期予測ベンチマークで最先端のモデルを一貫して上回る。
論文 参考訳(メタデータ) (2025-10-11T09:59:25Z) - Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。
提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
論文 参考訳(メタデータ) (2024-12-06T18:22:59Z) - PeriodWave: Multi-Period Flow Matching for High-Fidelity Waveform Generation [37.35829410807451]
そこで我々は,新しい普遍波形生成モデルである PeriodWave を提案する。
波形信号の周期的特徴を把握できる周期的フローマッチング推定器を提案する。
また、周期的バッチ推論によりフィードフォワード並列化が可能な1つの周期条件ユニバーサル推定器を提案する。
論文 参考訳(メタデータ) (2024-08-14T13:36:17Z) - AdaWaveNet: Adaptive Wavelet Network for Time Series Analysis [12.994308764734761]
AdaWaveNetは、非定常時系列データのマルチスケール解析にアダプティブウェーブレット変換を利用する新しいアプローチである。
我々は、予測、計算、新たに確立された超解像タスクを含む3つのタスクにわたる10のデータセットで実験を行う。
論文 参考訳(メタデータ) (2024-05-17T23:52:33Z) - Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
論文 参考訳(メタデータ) (2023-11-16T11:49:29Z) - Real Time Speech Enhancement in the Waveform Domain [99.02180506016721]
本稿では,ラップトップCPU上でリアルタイムに動作する生波形を用いた因果音声強調モデルを提案する。
提案モデルは、スキップ接続を持つエンコーダデコーダアーキテクチャに基づいている。
静止ノイズや非定常ノイズを含む様々な背景ノイズを除去することができる。
論文 参考訳(メタデータ) (2020-06-23T09:19:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。