論文の概要: Lost in Time: Clock and Calendar Understanding Challenges in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2502.05092v1
• Date: Fri, 07 Feb 2025 17:11:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:59:07.946378
• Title: Lost in Time: Clock and Calendar Understanding Challenges in Multimodal LLMs
• Title（参考訳）: ロス・イン・タイム:マルチモーダルLDMにおけるクロックとカレンダー理解の課題
• Authors: Rohit Saxena, Aryo Pradipta Gema, Pasquale Minervini,
• Abstract要約: 我々は,MLLMが時間関連視覚データを提示した場合に,視覚認識,数値推論,時間的推論をどのように行うかを分析することを目的とする。 評価の結果,近年の進歩にもかかわらず,時間的理解はMLLMにとって重要な課題であることがわかった。
• 参考スコア（独自算出の注目度）: 9.34626518802604
• License:
• Abstract: Understanding time from visual representations is a fundamental cognitive skill, yet it remains a challenge for multimodal large language models (MLLMs). In this work, we investigate the capabilities of MLLMs in interpreting time and date through analogue clocks and yearly calendars. To facilitate this, we curated a structured dataset comprising two subsets: 1) $\textit{ClockQA}$, which comprises various types of clock styles$-$standard, black-dial, no-second-hand, Roman numeral, and arrow-hand clocks$-$paired with time related questions; and 2) $\textit{CalendarQA}$, which consists of yearly calendar images with questions ranging from commonly known dates (e.g., Christmas, New Year's Day) to computationally derived ones (e.g., the 100th or 153rd day of the year). We aim to analyse how MLLMs can perform visual recognition, numerical reasoning, and temporal inference when presented with time-related visual data. Our evaluations show that despite recent advancements, reliably understanding time remains a significant challenge for MLLMs.
• Abstract（参考訳）: 視覚表現から時間を理解することは基本的な認知スキルであるが、マルチモーダルな大規模言語モデル(MLLM)では依然として課題である。 本研究では,MLLMがアナログ時計やカレンダーを通して時刻と日付を解釈する能力について検討する。 これを容易にするために、2つのサブセットからなる構造化データセットをキュレートした。 1$\textit{ClockQA}$は、標準、ブラックダイアル、ノーセカンドハンド、ローマ数字、アローハンドの様々な種類のクロックスタイルで構成され、時間関連の質問で$-$ペアリングされる。 2)$\textit{CalendarQA}$は、一般的に知られている日付(例:クリスマス、正月)から計算によって導出された日付(例:100日または153日目)までの質問を含む年次カレンダーイメージで構成されている。 我々は,MLLMが時間関連視覚データを提示した場合に,視覚認識,数値推論,時間的推論をどのように行うかを分析することを目的とする。 評価の結果,近年の進歩にもかかわらず,時間的理解はMLLMにとって重要な課題であることがわかった。

関連論文リスト

• Can Multimodal LLMs do Visual Temporal Understanding and Reasoning? The answer is No! [22.75945626401567]
  本稿では,TemporalVQAという評価ベンチマークを提案する。 第1部では、時間的に連続するビデオフレームを分析してイベントのシーケンスを決定するためにMLLMが必要である。 第2部では、複数選択の質問としてフレーム化された時間差のある画像ペアを提示し、MLLMに秒から数年のオプションで画像間のタイムラプスを見積もる。 GPT-4o や Gemini-1.5-Pro などのモデルを含む先進MLLM の評価は,重要な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-01-18T06:41:48Z)
• Perceive, Query & Reason: Enhancing Video QA with Question-Guided Temporal Queries [50.47265863322891]
  Video Question Answering (ビデオQA)は、ビデオ全体を理解するためにモデルを必要とする、難しいビデオ理解タスクである。 近年のMLLM(Multimodal Large Language Models)の進歩は,ビデオQAに特有なコモンセンス推論機能を活用して変化している。 本稿では,フレーム単位の視覚知覚とLCMの推論能力の間に疑問を導いた時間的ブリッジを生成する,新しい時間的モデリング手法であるT-Formerを提案する。
  論文  参考訳（メタデータ） (2024-12-26T17:53:14Z)
• Distill Visual Chart Reasoning Ability from LLMs to MLLMs [38.62832112530892]
  マルチモーダル大言語モデル(MLLM)における複雑なチャートQ&Aタスクの解決には高度な視覚的推論能力が必要である 我々は,LLMからMLLMへの視覚的推論能力を蒸留するための費用効率,効率的,スケーラブルなデータ合成法であるCode-as-Intermediary Translation (CIT)を提案する。 我々は、テキストベースの合成技術を用いて、チャート作成コードを構築し、3kの推論集約チャートと20kのQ&Aペアを含むデータセットであるReachQAを作成した。
  論文  参考訳（メタデータ） (2024-10-24T14:50:42Z)
• TimeSeriesExam: A time series understanding exam [18.06147400795917]
  TimeSeriesExamは700以上の質問で構成され、104の慎重にキュレートされたテンプレートを使用して手続き的に生成される。 我々は、TimeSeriesExam上で7つの最先端LCMをテストし、時系列理解能力の総合的な評価を初めて提供する。
  論文  参考訳（メタデータ） (2024-10-18T02:37:14Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• AI-Assisted Generation of Difficult Math Questions [78.7547836422727]
  現在の訓練は、数学的推論をコア能力として位置づけている。 多様で挑戦的な数学の質問には、控えめな需要がある。 本稿では,LLMの強みとHuman-in-the-loopアプローチを組み合わせた設計枠組みを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:55:36Z)
• Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark [13.490168087823992]
  大規模言語モデル(LLM)は、自動時系列分析とレポートの可能性を秘めている。 本稿では時系列データに固有の様々な特徴を記述した重要なフレームワークである時系列特徴の包括的分類法を紹介する。 このデータセットは、コンパイル時系列におけるLCMの熟練度を評価するための確かな基盤として機能する。
  論文  参考訳（メタデータ） (2024-04-25T12:24:37Z)
• MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
  MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。 我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。 このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
  論文  参考訳（メタデータ） (2024-03-21T17:59:50Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Large Language Models for Time Series: A Survey [34.24258745427964]
  大規模言語モデル (LLM) は自然言語処理やコンピュータビジョンといった領域で広く利用されている。 LLMは、気候、IoT、ヘルスケア、トラフィック、オーディオ、ファイナンスといった分野の恩恵を受けながら、時系列データを分析する上で、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-02T07:24:35Z)
• Question Answering as Programming for Solving Time-Sensitive Questions [84.07553016489769]
  質問応答は、世界に関する知識の獲得に関わるため、人間の日常生活において重要な役割を担っている。 近年,Large Language Models (LLMs) は疑問に答える上で顕著な知性を示している。 これはLLMが表面レベルのテキストセマンティクスに基づいて厳密な推論を行うことができないためである。 我々は、$textbfQ$uestion $textbfA$rogrogeringタスクを再設定する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。