論文の概要: Can Multi-Modal LLMs Provide Live Step-by-Step Task Guidance?

• arxiv url: http://arxiv.org/abs/2511.21998v1
• Date: Thu, 27 Nov 2025 00:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.340424
• Title: Can Multi-Modal LLMs Provide Live Step-by-Step Task Guidance?
• Title（参考訳）: マルチモードLLMはライブステップバイステップタスクガイダンスを提供できるか?
• Abstract要約: Qualcomm Interactive Cooking ベンチマークを用いて,最先端のマルチモーダル言語モデル (LLM) の評価を行った。 対話型指導指導のためのマルチモーダルLLMであるLiveMambaを紹介する。 この作業は、最初の専用のベンチマークと、ライブで配置されたコーチングの開発と評価のための強力なベースラインを提供する。
• 参考スコア（独自算出の注目度）: 27.55597863240135
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-modal Large Language Models (LLM) have advanced conversational abilities but struggle with providing live, interactive step-by-step guidance, a key capability for future AI assistants. Effective guidance requires not only delivering instructions but also detecting their successful execution, as well as identifying and alerting users to mistakes, all of which has to happen in real-time. This requires models that are not turn-based, but that can react asynchronously to a video stream, as well as video data showing users performing tasks including mistakes and their corrections. To this end, we introduce Qualcomm Interactive Cooking, a new benchmark and dataset built upon CaptainCook4D, which contains user mistakes during task execution. Our dataset and benchmark features densely annotated, timed instructions and feedback messages, specifically including mistake alerts precisely timestamped to their visual occurrence in the video. We evaluate state-of-the-art multi-modal LLMs on the Qualcomm Interactive Cooking benchmark and introduce LiveMamba, a streaming multi-modal LLM designed for interactive instructional guidance. This work provides the first dedicated benchmark and a strong baseline for developing and evaluating on live, situated coaching.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(LLM)は、高度な会話能力を持っているが、将来のAIアシスタントにとって重要な機能である、ライブでインタラクティブなステップバイステップガイダンスの提供に苦労している。 効果的なガイダンスには、命令を配信するだけでなく、実行を成功させると同時に、ユーザにミスを特定して警告することが必要です。 これはターンベースではないが、ビデオストリームに対して非同期に反応するモデルと、ミスや修正を含むタスクを実行するユーザを示すビデオデータを必要とする。 この目的のために我々は,CaptainCook4D上に構築された新しいベンチマークとデータセットであるQualcomm Interactive Cookingを紹介した。 当社のデータセットとベンチマークでは、ビデオの視覚的発生に正確にタイムスタンプされたエラーアラートを含む、高密度の注釈付きタイムドインストラクションとフィードバックメッセージが特徴です。 我々はQualcomm Interactive Cookingベンチマークで最先端のマルチモーダルLLMを評価し、インタラクティブな指導指導のために設計されたストリーミングマルチモーダルLLMであるLiveMambaを紹介した。 この作業は、最初の専用のベンチマークと、ライブで配置されたコーチングの開発と評価のための強力なベースラインを提供する。

関連論文リスト

• Time-Aware Assistive Navigation [17.665122992601788]
  現在の言語モデルは、ユーザにリアルタイムな応答を実現するかどうかを計画することは滅多にない。 複雑な屋外環境において,エゴセントリックで補助的なナビゲーションタスクのための大規模ベンチマークを導入する。 提案手法は,命令の根本原因を予測するための直接監督を含む,単純かつ効果的なモデル修正により,性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-09-04T17:59:47Z)
• Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios [61.926801508808616]
  本稿では,ビデオ理解における指示に従うためのベンチマークであるVideo-IFBenchを紹介する。 単一タスク,マルチタスク,選択,ネスト命令を含む4つのテンプレートを持つ命令分類法を開発した。 我々は,MLLM,プログラム処理,人体検証を組み合わせた半自動データ構築パイプラインを構築し,1.5Kのサンプルを得た。
  論文  参考訳（メタデータ） (2026-08-26T08:35:42Z)
• GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video [54.048366682378706]
  クローズドループ対話型タスクガイダンスのためのMLLMのトレーニングと評価を支援する,ストリーミングビデオのための最初のマルチドメインベンチマークである GuideMe を構築した。 223.7時間にわたる2,458本のビデオ(料理、オブジェクト操作、日常生活指導、フィットネスなど)と、次のステップの指示、完了フィードバック、エラー検出、修正ガイダンスを含む47,775本の対話サンプルで構成されている。
  論文  参考訳（メタデータ） (2026-07-03T06:00:04Z)
• True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
  MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。 現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。 視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
  論文  参考訳（メタデータ） (2025-07-21T17:08:18Z)
• ViSpeak: Visual Instruction Feedback in Streaming Videos [50.99067964073338]
  本稿では,視覚的インストラクションフィードバック(Visual Instruction Feedback)という新しいタスクを提案する。 我々は,様々なストリーミングビデオ理解ベンチマークにおいて,GPT-4oレベルの性能を持つSOTAストリーミングビデオ理解LMMであるViSpeakモデルを提案する。
  論文  参考訳（メタデータ） (2025-03-17T03:05:31Z)
• TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
  TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models [0.0]
  本稿では,対話エージェントを対象とした動的ベンチマークシステムを提案する。 タスクをインターリーブするために定期的にコンテキストスイッチを行い、エージェントの長期記憶、継続的な学習、情報統合機能を評価する現実的なテストシナリオを構築します。
  論文  参考訳（メタデータ） (2024-09-30T12:01:29Z)
• User-in-the-loop Evaluation of Multimodal LLMs for Activity Assistance [14.11032383241148]
  本研究では,Large Language Models (LLMs) を用いた現代多モーダル推論モデルの有用性について検討した。 このようなアシスタントは、(1)アシスタントのセンサーから関連する視覚履歴をエンコードできなければならない。 Socraticのアプローチは、オフラインとオンラインの両方でVCLMよりも優れています。
  論文  参考訳（メタデータ） (2024-08-04T06:12:42Z)
• Momentor: Advancing Video Large Language Model with Fine-Grained Temporal Reasoning [102.54669633984278]
  本稿では,微細な時間的理解作業を実現するためのビデオLLMであるMomentorを提案する。 Moment-10MでMomentorをトレーニングし、セグメントレベルの推論とローカライゼーションを可能にします。
  論文  参考訳（メタデータ） (2024-02-18T03:04:38Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• Look, Remember and Reason: Grounded reasoning in videos with language models [5.3445140425713245]
  マルチテンポラル言語モデル(LM)は、最近ビデオ上の高レベル推論タスクにおいて有望な性能を示した。 オブジェクト検出,再識別,追跡など,低レベルなサロゲートタスクに対するLMエンドツーエンドのトレーニングを提案し,低レベルな視覚能力を備えたモデルを実現する。 我々は、ACRE、CATER、Some-Else、STARデータセットからの多様な視覚的推論タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-06-30T16:31:14Z)
• MIMIC-IT: Multi-Modal In-Context Instruction Tuning [44.879418596312554]
  本稿では,280万のマルチモーダル・インストラクション・レスポンス・ペアからなるデータセットについて述べる。 MIMIC-ITデータセットを用いて、Otterはマルチモーダル認識、推論、文脈内学習において顕著な習熟度を示した。 我々はMIMIC-ITデータセット、命令応答型コレクションパイプライン、ベンチマーク、オッターモデルをリリースする。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)
• Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos [76.21297023629589]
  そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。 提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-28T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。