論文の概要: Plots Unlock Time-Series Understanding in Multimodal Models

• arxiv url: http://arxiv.org/abs/2410.02637v2
• Date: Thu, 28 Nov 2024 16:01:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:17:32.122224
• Title: Plots Unlock Time-Series Understanding in Multimodal Models
• Title（参考訳）: マルチモーダルモデルにおける時系列理解のプロット
• Authors: Mayank Daswani, Mathias M. J. Bellaiche, Marc Wilson, Desislav Ivanov, Mikhail Papkov, Eva Schnider, Jing Tang, Kay Lamerigts, Gabriela Botea, Michael A. Sanchez, Yojan Patel, Shruthi Prabhakara, Shravya Shetty, Umesh Telang,
• Abstract要約: 本稿では,マルチモーダルファウンデーションモデルの既存のビジョンエンコーダを利用して,プロットを介して時系列データを"見る"方法を提案する。 実験により,本手法は生の時系列データをテキストとして提供する方法よりも優れていることが示された。 より複雑で現実的なシナリオへの明確な推論ステップによる合成タスクからの一般化性を実証するために、我々のアプローチを消費者健康タスクに適用する。
• 参考スコア（独自算出の注目度）: 5.792074027074628
• License:
• Abstract: While multimodal foundation models can now natively work with data beyond text, they remain underutilized in analyzing the considerable amounts of multi-dimensional time-series data in fields like healthcare, finance, and social sciences, representing a missed opportunity for richer, data-driven insights. This paper proposes a simple but effective method that leverages the existing vision encoders of these models to "see" time-series data via plots, avoiding the need for additional, potentially costly, model training. Our empirical evaluations show that this approach outperforms providing the raw time-series data as text, with the additional benefit that visual time-series representations demonstrate up to a 90% reduction in model API costs. We validate our hypothesis through synthetic data tasks of increasing complexity, progressing from simple functional form identification on clean data, to extracting trends from noisy scatter plots. To demonstrate generalizability from synthetic tasks with clear reasoning steps to more complex, real-world scenarios, we apply our approach to consumer health tasks - specifically fall detection, activity recognition, and readiness assessment - which involve heterogeneous, noisy data and multi-step reasoning. The overall success in plot performance over text performance (up to an 120% performance increase on zero-shot synthetic tasks, and up to 150% performance increase on real-world tasks), across both GPT and Gemini model families, highlights our approach's potential for making the best use of the native capabilities of foundation models.
• Abstract（参考訳）: マルチモーダル・ファンデーション・モデルはテキスト以外のデータをネイティブに扱えるようになったが、医療、金融、社会科学といった分野における膨大な多次元時系列データを分析するには未利用のままである。 本稿では,これらのモデルの既存のビジョンエンコーダを利用して,プロットを介して時系列データを"見る"ための簡易かつ効果的な手法を提案する。 実験により,本手法は生の時系列データをテキストとして提供する方法よりも優れており,視覚的時系列表現がモデルAPIコストを90%削減できるというメリットがあることがわかった。 我々は,複雑性を増大させる合成データタスクによる仮説の検証を行い,クリーンデータ上での単純な関数型識別から,ノイズの多い散乱プロットからトレンドを抽出した。 より複雑な実世界のシナリオへの明確な推論ステップによる合成タスクからの一般化性を実証するために、我々は、異質でノイズの多いデータと多段階の推論を含む、消費者健康タスク(特に転倒検出、活動認識、準備性評価)にアプローチを適用します。 GPTおよびGeminiモデルファミリ間のテキストパフォーマンスに対するプロットパフォーマンスの全体的な成功(ゼロショット合成タスクでは最大120%のパフォーマンス向上、実世界のタスクでは最大150%のパフォーマンス向上)は、ファンデーションモデルのネイティブ機能を最大限に活用するためのアプローチの可能性を強調します。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Data-Centric Machine Learning for Earth Observation: Necessary and Sufficient Features [5.143097874851516]
  モデル記述法を利用して、モデルが最適な性能に達するために必要な特徴を特定する。 一部のデータセットは、時間的なインスタンスの20%未満で最適な精度に達することができるが、他のデータセットでは、1つのモダリティから1つのバンドの時系列が十分である。
  論文  参考訳（メタデータ） (2024-08-21T07:26:43Z)
• Towards In-Vehicle Multi-Task Facial Attribute Recognition: Investigating Synthetic Data and Vision Foundation Models [8.54530542456452]
  車両の乗客の顔の特徴を認識する複雑なマルチタスクモデルを訓練するための合成データセットの有用性について検討する。 我々の研究は直感に反する発見を明らかにし、特に特定のマルチタスクコンテキストにおいて、ViTよりもResNetの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-10T04:17:54Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
  我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。 実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-03T09:08:47Z)
• A Graph-Enhanced Click Model for Web Search [67.27218481132185]
  ウェブ検索のための新しいグラフ強調クリックモデル(GraphCM)を提案する。 セッション内情報とセッション間情報の両方を、スパーシリティ問題とコールドスタート問題に活用する。
  論文  参考訳（メタデータ） (2022-06-17T08:32:43Z)
• Exploring the Efficacy of Automatically Generated Counterfactuals for Sentiment Analysis [17.811597734603144]
  本稿では,データ拡張と説明のためのデファクトデータの自動生成手法を提案する。 いくつかの異なるデータセットに対する包括的な評価と、さまざまな最先端ベンチマークの使用により、我々のアプローチがモデルパフォーマンスを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-29T10:27:01Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。