論文の概要: Aligned, Conflicting, or Unspecified? A Diagnostic Benchmark for Multimodal Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2611.17680v1
- Date: Fri, 13 Nov 2026 02:47:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.293917
- Title: Aligned, Conflicting, or Unspecified? A Diagnostic Benchmark for Multimodal Time Series Forecasting
- Title(参考訳): 適応型・競合型・未特定型?マルチモーダル時系列予測のための診断ベンチマーク
- Abstract要約: テキスト・ヒストリー関係によって組織された最初の実世界診断ベンチマークを紹介する。
センサテレメトリ(ウェザー)、Webサービストラフィック(ウィキペディア)、市場データストリーム(Finance)にまたがる1,762のテキストウィンドウペアについて検討した。
- 参考スコア(独自算出の注目度): 13.199484493325771
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Intelligence of Things (AIoT) systems increasingly combine sensed time series with external text such as expert reports and news, yet how reliably models use text that agrees or conflicts with the sensed history remains unclear. We introduce the first real-world diagnostic benchmark organized by text-history relationship: 1,762 text-window pairs across sensor telemetry (Weather), web-service traffic (Wikipedia), and market data streams (Finance), each labeled Aligned, Conflicting, or Unspecified by whether the text's direction agrees with the historical trend, opposes it, or is not stated. Across ten pretrained models evaluated zero-shot, we investigate text selection and combination under text-history relationships (RQ1) and error diagnosis and horizon-scaled revision control (RQ2). For RQ1, we compare two types of text on paired Weather windows: one directly forecasts temperature changes, while the other describes related weather conditions, such as winds and fronts. Under Aligned, the first type yields the lowest error for most models. Under Conflicting, it increases most models' error above the no-text baseline; we therefore add only its stated magnitude and timing to the second type. Compared with either type alone, this combination lowers mean absolute scaled error (MASE) for six models and raises directional accuracy (DA) for seven. For RQ2, an error decomposition attributes the error increase to oversized revisions, and a training-free rule that limits them outperforms forecasts both with and without text for the four models with this trade-off, lowering MASE by 4.49%-21.98% and raising DA by 2.99%-9.71%. Our dataset is available at https://github.com/Shelton1202/ACU-Bench.
- Abstract(参考訳): 人工知能(Artificial Intelligence of Things, AIoT)システムは、知覚された時系列と専門家のレポートやニュースなどの外部テキストを組み合わせる傾向にある。
本稿では,センサテレメトリ (Weather), Webサービストラフィック (Wikipedia), 市場データストリーム (Finance), ラベル付きアラインド (Aligned), コンフリシング (Conflicting) あるいは未特定 (Unspecified) という,センサテレメトリ (Weather), ウェブサービストラフィック (Wikipedia), および市場データストリーム (Finance) にまたがる1,762のテキストウィンドウペアについて,テキストの方向が歴史的傾向に一致するか,それに反対するか,あるいは言及されていないか,という,テキストヒストリー関係によって構成された最初の実世界診断ベンチマークを紹介する。
10種類の事前学習モデルを用いてゼロショットの評価を行い、テキスト履歴関係(RQ1)に基づくテキスト選択と組み合わせ、誤り診断と水平スケール修正制御(RQ2)について検討した。
RQ1では、ペア化された気象窓の2種類のテキストを比較し、一方は気温変化を直接予測し、もう一方は風や前線などの関連する気象条件を記述している。
Alignedの下では、最初の型はほとんどのモデルで最小のエラーをもたらす。
衝突下では、ほとんどのモデルのエラーをノーテキストベースラインよりも多くし、従って第2タイプに記述された大きさとタイミングだけを追加する。
どちらのタイプ単独と比較しても、この組み合わせは6つのモデルの絶対スケール誤差(MASE)を低くし、7つのモデルの方向精度(DA)を高める。
RQ2のエラー分解は、過大なリビジョンへのエラー増加と、このトレードオフを伴う4つのモデルについて、テキストと非テキストの両方で予測を上回り、MASEを4.49%-21.98%下げ、DAを2.99%-9.71%引き上げるトレーニングフリールールを特徴としている。
データセットはhttps://github.com/Shelton1202/ACU-Bench.comから入手可能です。
関連論文リスト
- Modalities Should Talk to Each Other: Dual-Stream Multimodal Learning for Long-Horizon Influenza Forecasting [1.2599533416395763]
一般に入手可能な監視データセットは、通常、数値疫学的信号をノイズと組み合わせ、ゆるやかに構造化され、短期的な傾向にのみ間接的に関係しており、しばしば数値的な信号と相対的に関連付けられている。
我々は,36週間のマルチモーダル履歴から12週間のILI活動を予測するマルチモーダルディープラーニングフレームワークであるDual-Stream Attention (DSA)を提案する。
論文 参考訳(メタデータ) (2026-08-24T15:20:01Z) - Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models [57.758735361535486]
TGEAは、事前訓練された言語モデル(PLM)からテキストを生成するためのエラーアノテートデータセットである。
PLM生成文で発生する24種類の誤りを網羅する誤り分類を作成する。
PLM生成テキストに対する包括的なアノテーションを備えた最初のデータセットである。
論文 参考訳(メタデータ) (2025-03-06T09:14:02Z) - On the Robust Approximation of ASR Metrics [30.524282767961463]
そこで本研究では,ASR性能指標の近似に新たなアプローチを提案し,真理ラベルの必要性を排除した。
提案手法は,音声および転写表現の統一空間におけるマルチモーダル埋め込みと,高品質なプロキシモデルを組み合わせることで,プロキシメトリクスの計算を行う。
実験結果から, 測定値の絶対差を1桁に近似し, 最新のベースラインを50%以上上回る結果を得た。
論文 参考訳(メタデータ) (2025-02-18T01:10:17Z) - TextSquare: Scaling up Text-Centric Visual Instruction Tuning [62.878378882175284]
大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。
われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。
さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
論文 参考訳(メタデータ) (2024-04-19T11:38:08Z) - Towards Fine-Grained Information: Identifying the Type and Location of
Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。
我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。
実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文 参考訳(メタデータ) (2023-02-17T16:20:33Z) - Text and Code Embeddings by Contrastive Pre-Training [15.099849247795714]
教師なしデータに対する対照的な事前学習は、テキストとコードの高品質なベクトル表現につながることを示す。
線形プローブ分類における新しい最先端結果を実現するような教師なしのテキスト埋め込みも同様に、印象的なセマンティック検索機能も備えている。
論文 参考訳(メタデータ) (2022-01-24T23:36:20Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。