Fugu-MT 論文翻訳(概要): PushupBench: Your VLM is not good at counting pushups

論文の概要: PushupBench: Your VLM is not good at counting pushups

arxiv url: http://arxiv.org/abs/2604.23407v1
Date: Sat, 25 Apr 2026 18:58:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-28 17:12:07.318902
Title: PushupBench: Your VLM is not good at counting pushups
Title（参考訳）: PushupBench: VLMはプッシュアップのカウントが得意ではありません
Abstract要約: 繰り返しカウントを評価するために、textbfPushupBench, 446 long-form clips (約36.7s)を紹介した。オープンソースの4Bモデルは$sim$6%を獲得し、教師付きベースラインと一致する。より弱いモデルは、時間的理由よりもモーダル数を利用する。
参考スコア（独自算出の注目度）: 15.676180843785303
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large vision-language models (VLMs) can recognize \textit{what} happens in video but fail to count \textit{how many} times. We introduce \textbf{PushupBench}, 446 long-form clips (avg. 36.7s) for evaluating repetition counting. The best frontier model achieves 42.1\% exact accuracy; open-source 4B models score $\sim$6\%, matching supervised baselines. We show that accuracy alone misleads -- weaker models exploit the modal count rather than reason temporally. Fine-tuning on counting with 1k samples transfers to general video understanding: MVBench (+2.15), PerceptionTest (+1.88), TVBench (+4.54), suggesting counting is a proxy for broader temporal reasoning.PushupBench incorporated in \texttt{lmms-eval} (https://github.com/EvolvingLMMs-Lab/lmms-eval/pull/1262) and hosted on (pushupbench.com/)
Abstract（参考訳）: 大きな視覚言語モデル(VLM)は、ビデオで発生する \textit{what} を認識できるが、 \textit{how many} 回数をカウントできない。繰り返しカウントを評価するために,446個の長大クリップ(36.7s)のtextbf{PushupBench}を紹介した。最高のフロンティアモデルは42.1\%の精度で達成され、オープンソースの4Bモデルは、教師付きベースラインと一致する$\sim$6\%のスコアを得る。より弱いモデルは、時間的理由よりもモーダル数を利用する。 MVBench (+2.15), PerceptionTest (+1.88), TVBench (+4.54), suggested counting is a proxy for wide temporal reasoning.PushupBench incorporated in \texttt{lmms-eval} (https://github.com/EvolvingLMMs-Lab/lmms-eval/pull/1262) and host on (pushupbench.com/)

関連論文リスト

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks [2.0789144738685956]
本稿では,視覚依存ギャップ(VDG)について紹介する。精度と視覚的依存は分離可能であることを示す。これらの結果は、ビデオベンチマークが視覚的基盤能力を測定するかどうかの基準監査としてVDGを動機付けている。
論文参考訳（メタデータ） (2026-07-14T22:15:50Z)
20/20 Vision Language Models: A Prescription for Better VLMs through Data Curation Alone [17.84750728317393]
データキュレーションは、20のVLMベンチマークにおいて、平均で+11.7ppの性能を向上できることを示す。 2BではInternVL3.5-2Bを9.9ppで17倍のトレーニング計算で上回りました。データキュレーションは、より良いVLMを構築するための高平均ツールであり、最大150倍のトレーニング計算で最前線の精度に達する。
論文参考訳（メタデータ） (2026-05-12T01:51:03Z)
VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition [107.13283099863123]
我々は37ドメインから1,000の異なるアクションをカバーするドメイン固有のアクション認識ベンチマークであるVideoNetを紹介する。視覚言語モデル(VLM)は、コンテキスト内サンプルを十分に活用するのに苦労している。ドメイン固有のアクションのための、最初の大規模なトレーニングデータセットを収集し、合計で500万近いビデオ質問応答ペアを収集する。
論文参考訳（メタデータ） (2026-05-04T17:11:16Z)
MEMENTO: Teaching LLMs to Manage Their Own Context [50.3558738319336]
推論モデルは、自身の中間状態を圧縮または整理するメカニズムのない、長い、構造化されていないストリームを思い浮かべる。 MementO: ブロックに推論を分割し、各ブロックをメメントに圧縮し、メメントにのみ参加して推論を行う方法をモデルに教える手法を紹介する。 OpenMementos上の2段階のSFTレシピは、異なるモデルファミリやスケールで有効であることを示す。
論文参考訳（メタデータ） (2026-04-10T19:30:29Z)
LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling [87.98096428508181]
LongVTは、Multimodal Chain-of-Tool-Thoughtを通じて"Thinking with Long Videos"を可能にするエンドツーエンドのエージェントフレームワークである。我々は、LMM固有の時間的接地機能を利用して、特定のビデオクリップをズームインし、よりきめ細かいビデオフレームを再サンプリングするネイティブビデオトリミングツールを開発した。トレーニングデータセットは, ツール統合型冷間始動微調整用247.9K試料, エージェント強化学習用1.6K試料, エージェント強化微調整用15.4K試料からなる。
論文参考訳（メタデータ） (2025-11-25T19:22:48Z)
CompareBench: A Benchmark for Visual Comparison Reasoning in Vision-Language Models [9.358625944204443]
CompareBenchは視覚言語モデル(VLM)における視覚比較推論を評価するためのベンチマークである。量(600)、時間(100)、幾何学(200)、空間(100)の4つのタスクにまたがる1000のQAペアで構成されている。
論文参考訳（メタデータ） (2025-09-25T21:14:11Z)
RTV-Bench: Benchmarking MLLM Continuous Perception, Understanding and Reasoning through Real-Time Video [34.92237577348738]
RTV-BenchはMLLMリアルタイムビデオ解析のためのきめ細かいベンチマークである。 RTV-Benchは552の多様なビデオ(167.2時間)と4,631の高品質QAペアを含んでいる。
論文参考訳（メタデータ） (2025-05-04T10:55:21Z)
s1: Simple test-time scaling [148.4204982041058]
テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
論文参考訳（メタデータ） (2025-01-31T18:48:08Z)
NaturalBench: Evaluating Vision-Language Models on Natural Adversarial Samples [79.82029431745612]
視覚自動モデル(VLM)は、人間が容易に答えられるような自然なイメージや疑問に苦戦している。我々は,1万個の人間検証VQAサンプルを用いて,VLMを確実に評価するための新しいベンチマークであるNaturalBenchを提案する。 LLaVA-OneVision, Cambrian-1, Llama3.2-Vision, Molmo, Qwen2-VL, および GPT-4o lag の 50%-70% 遅れ(90%以上)を示した。
論文参考訳（メタデータ） (2024-10-18T17:58:21Z)
InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
論文参考訳（メタデータ） (2024-09-19T08:41:21Z)
Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
論文参考訳（メタデータ） (2024-07-31T17:57:25Z)
InfiniBench: A Benchmark for Large Multi-Modal Models in Long-Form Movies and TV Shows [36.34306662272004]
InfiniBenchは、長いビデオ理解におけるモデルの能力を評価するために設計されたベンチマークである。 1000時間以上のビデオコンテンツがあり、平均的なビデオの長さは53分である。グラウンドングベース(シーン遷移、キャラクターアクションなど)と推論ベース(ディープコンテキスト理解、マルチイベントリンクなど)にまたがる8つの多様なスキル
論文参考訳（メタデータ） (2024-06-28T12:35:01Z)
How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
論文参考訳（メタデータ） (2024-02-20T18:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。