論文の概要: SYNCR: Diagnosing and Learning Cross-Video Reasoning from Simulation

• arxiv url: http://arxiv.org/abs/2609.37918v1
• Date: Tue, 29 Sep 2026 16:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.728325
• Title: SYNCR: Diagnosing and Learning Cross-Video Reasoning from Simulation
• Title（参考訳）: SynCR: シミュレーションによるクロスビデオ推論の診断と学習
• Abstract要約: 我々は,これらの2つのニーズを共有タスクジェネレータを介して接続するシミュレータ・グラウンド・フレームワークであるSynCRを紹介する。 SynCRは環境状態からの回答を導き、4000の評価質問と15,960のトレーニング質問を提供する。 22の多モーダル大言語モデルの評価は、物理的比較とシーン統合の難しさを明らかにしている。
• 参考スコア（独自算出の注目度）: 20.256916516259782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning across videos requires aligning events, matching identities, comparing motion, and integrating partial observations. Evaluating these capabilities and testing how to improve them requires both reliable labels and targeted supervision. We introduce SYNCR, a simulator-grounded framework that connects these two needs through shared task generators. Built on Habitat, Kubric, and CLEVRER, SYNCR derives answers from environment state and provides 4,000 evaluation questions and 15,960 training questions over disjoint videos, spanning eight cross-video reasoning tasks. Visual ablations and human evaluation assess dependence on the supplied evidence and answer recoverability. Evaluation of 22 multimodal large language models reveals persistent difficulties in physical comparison and scene integration that increasing model size does not consistently resolve. Supervised fine-tuning raises Qwen3-VL-8B's average SYNCR accuracy from 32.6% to 61.6%, with gains extending to task configurations and video sources absent from training for those tasks. Transfer to real footage is most consistent for temporal ordering: accuracy improves by 9.0-20.5 percentage points on constructed Assembly101 and Panoptic ordering sets across three checkpoints spanning two model families and two model sizes, with additional gains on existing temporal reasoning benchmarks. These results establish SYNCR as a controlled setting for diagnosing cross-video reasoning failures, testing their learnability, and identifying where synthetic supervision transfers.
• Abstract（参考訳）: ビデオ間での推論には、イベントの整列、アイデンティティの整合、動きの比較、部分的な観察の統合が必要である。 これらの能力を評価し、改善する方法をテストするには、信頼できるラベルとターゲットの監視の両方が必要です。 我々は,これらの2つのニーズを共有タスクジェネレータを介して接続するシミュレータ・グラウンド・フレームワークであるSynCRを紹介する。 SynCRはHabitat、Kubric、CLEVRERをベースとして構築され、環境状態からの回答を導き、4000の評価質問と15,960のトレーニング質問を提供する。 視覚的改善と人的評価は、供給された証拠と回答の回復性に依存する。 22のマルチモーダルな大言語モデルの評価は、モデルサイズの増加が常に解決しない物理的比較とシーン統合において、永続的な困難を呈する。 監督された微調整により、Qwen3-VL-8BのSynCRの平均精度は32.6%から61.6%に上昇し、タスク設定やビデオソースにも拡張された。 2つのモデルファミリと2つのモデルサイズにまたがる3つのチェックポイントのセットに対して精度が9.0-20.5ポイント向上し、既存の時間的推論ベンチマークがさらに向上した。 これらの結果から、SynCRは、ビデオ間の推論失敗の診断、学習可能性のテスト、および合成監督の移動場所の特定のための制御された設定として確立されている。

関連論文リスト

• Does Local Video Understanding Transfer Across Encounters? The EgoGears Benchmark [73.41679841824603]
  クロスビデオ精度は、局所的な知覚の失敗と観察のアイデンティティを保持する失敗を混同する。 EgoGearsは、この移行を診断するために設計された、補完的なシングルビデオとマルチビデオのベンチマークである。
  論文  参考訳（メタデータ） (2026-09-29T16:20:01Z)
• TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs [36.2604844032041]
  ビデオマルチモーダル大言語モデル(MLLM)は、ビデオ内で何が起こるかを記述することができるが、支持された証拠がいつ発生したかを特定することは滅多にない。 本研究では,ビデオの長さ,領域,クエリフォーム,視点をまたいだエビデンス間隔の変動心電図を1つのモデルで予測する一般的なビデオ時間的グラウンドについて検討する。 TimeLens2は、時間的エビデンスを、監督と最適化を通じて設定されたインターバルとして扱う。
  論文  参考訳（メタデータ） (2026-07-19T22:04:33Z)
• MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
  マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。 私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。 MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
  論文  参考訳（メタデータ） (2026-05-19T17:59:33Z)
• SYNCR: A Cross-Video Reasoning Benchmark with Synthetic Grounding [20.256916516259782]
  MLLM(Multimodal Large Language Models)は、シングルビデオ理解において急速に進歩しているが、複数の独立したビデオストリームをまたいで推論する能力はいまだによく分かっていない。 そこで,SynCRは,地上検定によるクロスビデオ推論のための制御された総合的ベンチマークである。 オープンおよびクローズドウェイトMLLMのゼロショット評価は、現在のモデルと人間の間に大きなギャップがあることを明らかにする。
  論文  参考訳（メタデータ） (2026-05-08T19:20:23Z)
• Beyond Isolated Facts: Synthesizing Narrative and Grounded Supervision for VideoQA [37.679936989592996]
  よりリッチな監視信号を合成するためのフレームワークを導入する。 質問ベースパラフレーズ(QBP)と質問ベースキャプション(QBC)の2つの補完戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-29T08:28:44Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• ReXTime: A Benchmark Suite for Reasoning-Across-Time in Videos [24.502570960589182]
  ReXTimeは、ビデオイベント内で時間的推論を実行するAIモデルの能力を厳格にテストするために設計されたベンチマークである。 時間的推論と問合せのペアを生成する自動パイプラインを開発する。 私たちのパイプラインは、手作業なしで9,695個のマシン生成サンプルのトレーニングデータセットを作成しています。
  論文  参考訳（メタデータ） (2024-06-27T17:59:45Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。