論文の概要: Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?

• arxiv url: http://arxiv.org/abs/2606.09547v1
• Date: Mon, 08 Jun 2026 14:27:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.261753
• Title: Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?
• Title（参考訳）: ストリーミングのインターベンション: ビデオ大言語モデルは間違いを犯すか?
• Authors: Apratim Bhattacharyya, Shweta Mahajan, Sanjay Haresh, Rajeev Yasarla, Reza Pourreza, Litian Liu, Risheek Garrepalli, Roland Memisevic,
• Abstract要約: Ego-MC-Benchは、リアルな調理シナリオにおいて、リアクティブでステップバイステップのタスクガイダンスを評価するためのベンチマークである。 Ego-CoMistは、非インタラクティブな調理ビデオから、積極的な介入を示す教師付きトレーニング例に変換することによって生成された合成データセットである。 Ego-CoMistの微調整により,特に小型で高効率なビデオLLMの性能向上が期待できる。
• 参考スコア（独自算出の注目度）: 24.51056610508431
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learning everyday skills, like cooking a dish, relies increasingly on instructional media such as online videos. This opens the door to the use of video (and multimodal) large language models (LLMs) as task guidance assistants. A crucial capability for the real-world success of a prospective task guidance assistant is it's ability to intervene proactively as soon as a mistake is apparent in order to guide the user. To evaluate this crucial capability, we introduce Ego-MC-Bench (Mistake Corrections), a benchmark for evaluating reactive, step-by-step task guidance in realistic cooking scenarios. Extensive experiments show that Ego-MC-Bench is highly challenging for state-of-the-art video LLMs. We argue that a key reason is the limited availability of training data for fine-tuning models on this task. Although there exists a wide range of cooking video datasets, existing datasets lack examples of mistakes along with appropriately timed interventions. To help address this data limitation, we also introduce Ego-CoMist, a counterfactual synthetic dataset created by transforming non -interactive cooking videos into supervised training examples showing proactive interventions. We show that fine-tuning on Ego-CoMist yields performance gains especially for smaller and more efficient video LLMs that are well suited for delivering assistance on edge devices.
• Abstract（参考訳）: 料理の調理のような日常的なスキルを学ぶことは、オンラインビデオのような教育的なメディアにますます依存している。 これにより、ビデオ(およびマルチモーダル)の大規模言語モデル(LLM)をタスクガイダンスアシスタントとして使用するための扉が開ける。 将来的なタスクガイダンスアシスタントの現実的な成功にとって重要な能力は、ユーザを誘導するためにミスが明らかになると、積極的に介入する能力である。 この重要な機能を評価するために、現実的な調理シナリオにおいて、反応的かつステップバイステップのタスクガイダンスを評価するためのベンチマークであるEgo-MC-Bench(Mistake Corrections)を導入する。 大規模な実験により、Ego-MC-Benchは最先端のビデオLLMにとって非常に難しいことが示されている。 重要な理由は、このタスクにおける微調整モデルのトレーニングデータの可用性が限られていることである、と我々は主張する。 幅広い調理用ビデオデータセットが存在するが、既存のデータセットには、適切な時間的介入の例が欠けている。 このデータ制限に対処するために,非インタラクティブな調理ビデオから,積極的な介入を示す教師付きトレーニング例に変換することで生成された,対物的な合成データセットであるEgo-CoMistも紹介する。 Ego-CoMistの微調整により、特にエッジデバイスでのアシスト配信に適した小型で効率的なビデオLLMにおいて、パフォーマンスが向上することを示す。

関連論文リスト

• Can Multi-Modal LLMs Provide Live Step-by-Step Task Guidance? [27.55597863240135]
  Qualcomm Interactive Cooking ベンチマークを用いて,最先端のマルチモーダル言語モデル (LLM) の評価を行った。 対話型指導指導のためのマルチモーダルLLMであるLiveMambaを紹介する。 この作業は、最初の専用のベンチマークと、ライブで配置されたコーチングの開発と評価のための強力なベースラインを提供する。
  論文  参考訳（メタデータ） (2025-11-27T00:54:35Z)
• Rethinking Visual Intelligence: Insights from Video Pretraining [75.32388528274224]
  大規模言語モデル(LLM)は、大規模事前学習によってシステムが新しい問題に迅速に適応できることを実証している。 本稿では,映像拡散モデル(VDM)をギャップを埋めるための有望な方向として検討する。
  論文  参考訳（メタデータ） (2025-10-28T14:12:11Z)
• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• Developing Vision-Language-Action Model from Egocentric Videos [14.1517430035289]
  エゴセントリックなビデオは、人間がオブジェクトやツールを操作する方法を捉え、オブジェクトの操作を学ぶための多様な動きの手がかりを提供する。 このようなビデオを利用してロボットのポリシーを訓練する以前の研究は、手動の詳細な記録のような補助的なアノテーションに依存していた。 本研究では,エゴセントリックビデオから6DoFオブジェクト操作トラジェクトリを抽出するフレームワークであるEgoScalerを活用することで,この問題に対処する。
  論文  参考訳（メタデータ） (2025-09-26T07:09:33Z)
• Vid-SME: Membership Inference Attacks against Large Video Understanding Models [56.31088116526825]
  ビデオ理解モデル(VULLM)で使用されるビデオデータに適した,最初の会員推論手法であるVid-SMEを紹介する。 自然なビデオフレームと時間的に反転したビデオフレームのSME差を利用して、Vid-SMEは、与えられたビデオがモデルのトレーニングセットの一部であるかどうかを判断するロバストなメンバーシップスコアを導出する。 様々な自己学習およびオープンソースVULLMの実験は、Vid-SMEの強力な有効性を示している。
  論文  参考訳（メタデータ） (2025-05-29T13:17:25Z)
• Exo2Ego: Exocentric Knowledge Guided MLLM for Egocentric Video Understanding [69.96199605596138]
  現在のMLLMは、主に第三者(外見中心)のビジョンに焦点を当てており、一対一(自我中心)の動画のユニークな側面を見下ろしている。 本研究では,エゴ中心領域とエゴ中心領域のマッピングを学習し,エゴ中心領域の理解を高めることを提案する。 Ego-ExoClipは1.1M同期のEgo-Exoクリップテキストペアからなる事前学習データセットである。
  論文  参考訳（メタデータ） (2025-03-12T08:10:33Z)
• VideoCoT: A Video Chain-of-Thought Dataset with Active Annotation Tool [21.182745175241894]
  我々は,能動的学習パラダイムの下で,機械と人間の専門家を組み合わせた自動アノテーションツールを開発した。 MLLMの複雑な推論能力を最大化するために,CoTを利用して収集したデータセットに基づくベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T13:10:23Z)
• EgoDistill: Egocentric Head Motion Distillation for Efficient Video Understanding [90.9111678470214]
  本稿では,重度エゴセントリックビデオクリップの再構成を学習する蒸留法であるEgoDistillを提案する。 提案手法により効率が大幅に向上し,200倍のGFLOPが要求される。 Ego4D と EPICKitchens のデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2023-01-05T18:39:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。