論文の概要: DynaPix: Can Vision-Language Models Identify the Exact Future?

• arxiv url: http://arxiv.org/abs/2608.05505v1
• Date: Thu, 06 Aug 2026 01:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.810226
• Title: DynaPix: Can Vision-Language Models Identify the Exact Future?
• Title（参考訳）: DynaPix:Vision-Language Modelsは正確な未来を特定できるのか?
• Abstract要約: DynaPix(Dynamic Pixels)は、予測を検証可能なベンチマークである。 重要なイベントの前に停止するビデオクリップと後続の瞬間に関する質問が与えられたら、モデルがクローズド候補または大きなギャラリーから真の未来像を選択する必要がある。 可視事象が目標モーメントを示すとき、しばしばモデルが成功するが、経過した時間だけがそれを示す場合、ほぼ偶然である。
• 参考スコア（独自算出の注目度）: 44.02538706211377
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Acting in a physical scene requires knowing its real later state, not a plausible one. Current evaluations often accept words or a realistic-looking image, so the predicted state is never checked against the true one. We introduce DynaPix (Dynamic Pixels), a benchmark that makes prediction checkable. Given a video clip that stops before a key event and a question about a later moment, a model must pick the true future image from close candidates or a large gallery. The scenes come from a physics simulator, so the correct image and its time are known exactly and the wrong options are deliberately similar. Models often succeed when a visible event marks the target moment, but are near chance when only elapsed time marks it. Gallery search is harder still, as the true image rarely ranks first. People handle the elapsed-time items well, so the difficulty lies with the models, not the questions. Training on scene accounts drawn from the simulator's true record, not a teacher's guess, repairs much of this but not the longer elapsed time case. DynaPix thus exposes a temporal-anchoring gap: models attach a prediction to an event far better than to time itself.
• Abstract（参考訳）: 物理的な場面で行動するためには、真に後の状態を知る必要がある。 現在の評価では、しばしば単語や現実的な画像を受け入れるため、予測された状態は真のものに対してチェックされることはない。 予測を検証可能なベンチマークであるDynaPix(Dynamic Pixels)を紹介した。 重要なイベントの前に停止するビデオクリップと後続の瞬間に関する質問が与えられたら、モデルがクローズド候補または大きなギャラリーから真の未来像を選択する必要がある。 シーンは物理シミュレーターから来ているので、正しい画像とその時刻は正確に知られており、間違った選択肢は意図的に似ている。 可視事象が目標モーメントを示すとき、しばしばモデルが成功するが、経過した時間だけが目標モーメントを示す場合、ほぼ偶然である。 ギャラリー検索はいまだに難しく、真のイメージが最初にランク付けされることはめったにない。 人々は経過時間のアイテムをうまく処理するので、問題は問題ではなくモデルにあります。 教師の推測ではなく、シミュレータの本当の記録から引き出されたシーンアカウントの訓練は、この多くを修復するが、長く経過したケースは修復しない。 モデルは、時間そのものよりもはるかに優れたイベントに予測をアタッチする。

関連論文リスト

• MotionForesight: Re-purposing Video Models for Future 3D Scene-Flow Prediction [12.549249041637976]
  我々は、通常のモノクラービデオから人間と物体の相互作用の予測を学習する方法を研究する。 MotionForesightは、操作されたオブジェクトのポイントに対する将来の3Dトラジェクトリを予測する。 まず、事前訓練されたビデオモデル上に構築された高密度な3Dトラッカーから始まり、全クリップから擬似地下トラックを生成し、観測されたフレームのみを用いて予測者を訓練する。
  論文  参考訳（メタデータ） (2026-07-17T17:59:38Z)
• Can Image Models Imagine Time? ImageTime: A Novel Benchmark for Probing Visual World Modeling Through Spatiotemporal Consistency [2.7501248535328315]
  本稿では,画像生成における視覚世界モデリングの行動プローブとして時間的整合性を利用する診断ベンチマークであるImageTimeを紹介する。 ImageTimeはプログレッシブな機能階層でタスクを整理し、各シナリオをステージワイドな状態述語に分解する。 解釈可能な能力スコア、診断サブスコア、障害ラベルを生成する。
  論文  参考訳（メタデータ） (2026-06-09T09:17:55Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Fast-WAM: Do World Action Models Need Test-time Future Imagination? [39.17692664456295]
  世界行動モデル(WAM)は、身体制御のためのビジョン・ランゲージ・アクション(VLA)モデルに代わる有望な代替品として登場した。 我々は、WAMがテスト時に明らかに将来的な想像力を必要とするのか、それともトレーニング中に主にビデオモデリングから得られる利益なのかを問う。 我々は、トレーニング中にビデオのコトレーニングを継続するが、テスト時に将来の予測を省略するWAMアーキテクチャであるFast-WAMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:33:43Z)
• What's in Common? Multimodal Models Hallucinate When Reasoning Across Scenes [28.96351892174009]
  我々は、チェーン・オブ・シークレット・推論を行うために特別に訓練されたモデルを含む、主要なマルチモーダル言語モデルを評価する。 単一のイメージでオブジェクトを知覚することは、ほとんどのモデルでは難易度が高いが、最高のモデルであっても、シーン間での推論は非常に難しい。 同様の物体が現場に存在している場合、モデルは幻覚を起こす傾向があり、トレーニング中に見られる物体の共起に依存している可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-11-05T15:37:50Z)
• Inferring Events from Time Series using Language Models [13.414101942484582]
  時系列データは、時間とともに環境がどのように変化するかを測定し、金融や医療といった重要な領域における意思決定を促進する。 本研究では,Large Language Models (LLMs) が時系列データから自然言語で記述された事象を推測できるかどうかを初めて検討する。 現在のLLMはいくつかの有望な能力を示しており、OpenAIのo1は最高だが、DS-R1-distill-Qwen-32BはGPT-4oのようなプロプライエタリなモデルより優れている。
  論文  参考訳（メタデータ） (2025-03-18T12:07:33Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
  本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。 インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:15:05Z)
• Temporally Consistent Transformers for Video Generation [80.45230642225913]
  正確なビデオを生成するには、アルゴリズムは世界の空間的および時間的依存関係を理解する必要がある。 時間依存性のあるビデオ生成を厳格に評価するために、複雑なデータに関する確立されたベンチマークは存在しない。 本稿では,長期間の一貫性を著しく向上し,サンプリング時間を短縮するTemporally Consistent Transformer(TECO)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:15:10Z)
• CoSIm: Commonsense Reasoning for Counterfactual Scene Imagination [87.4797527628459]
  我々はCoSIm(Comonsense Reasoning for Counterfactual Scene Imagination)と呼ばれる新しいタスク/データセットを導入する。 CoSImは、シーン変更の想像力を推論するAIシステムの能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2022-07-08T15:28:23Z)
• Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction [57.56466850377598]
  視覚データに対する推論は、ロボティクスとビジョンベースのアプリケーションにとって望ましい能力である。 本稿では,歩行者の意図を推論するため,現場の異なる物体間の関係を明らかにするためのグラフ上でのフレームワークを提案する。 歩行者の意図は、通りを横切る、あるいは横断しない将来の行動として定義され、自動運転車にとって非常に重要な情報である。
  論文  参考訳（メタデータ） (2020-02-20T18:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。