論文の概要: GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video
- arxiv url: http://arxiv.org/abs/2607.02991v1
- Date: Fri, 03 Jul 2026 06:00:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.487046
- Title: GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video
- Title（参考訳）: GuideMe: ストリーミングビデオにおけるマルチドメインタスクガイダンスと介入
- Abstract要約: クローズドループ対話型タスクガイダンスのためのMLLMのトレーニングと評価を支援する,ストリーミングビデオのための最初のマルチドメインベンチマークである GuideMe を構築した。
223.7時間にわたる2,458本のビデオ(料理、オブジェクト操作、日常生活指導、フィットネスなど)と、次のステップの指示、完了フィードバック、エラー検出、修正ガイダンスを含む47,775本の対話サンプルで構成されている。
- 参考スコア（独自算出の注目度）: 54.048366682378706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While multimodal Large Language Models (MLLMs) excel at offline video understanding, an interesting question of how far they are from serving as a real-time procedural coach remains unknown. Such a role typically requires an MLLM to continuously monitor the execution, detect mistakes, and provide corrective guidance in a closed-loop interaction. In this paper, we construct GuideMe, the first multi-domain benchmark for streaming video that supports training and evaluation of MLLMs for closed-loop interactive task guidance. It comprises 2,458 videos spanning 223.7 hours across diverse domains (\eg, cooking, object manipulation, daily-life guidance, and fitness), with 47,775 interaction samples covering next-step instructions, completion feedback, error detection, and corrective guidance. To evaluate existing models on GuideMe, we design a three-component assessment framework to measure the capabilities of representative MLLMs, which consists of temporal-semantic bipartite matching for sequence-level alignment, behavioral classification for intervention timing, and LLM-as-a-Judge for content quality. Extensive experiments highlight a critical performance asymmetry: despite excelling at providing instructions, existing MLLMs consistently fail to identify execution errors and respond with corrective feedback. Code and data are released at https://fawnliu.github.io/project/guideme.
- Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)はオフラインビデオ理解において優れているが、リアルタイムのプロシージャコーチとしての役割からどこまで離れているのかという興味深い疑問はいまだにない。
このようなロールは通常、MLLMが実行を継続的に監視し、ミスを検出し、クローズドループインタラクションにおける修正ガイダンスを提供する必要がある。
本稿では,クローズドループ対話型タスクガイダンスのためのMLLMのトレーニングと評価を支援する,ストリーミングビデオのための最初のマルチドメインベンチマークである GuideMe を構築する。
223.7時間にわたる2,458本のビデオ(卵、調理、物体操作、日常生活指導、フィットネス)と、次のステップの指示、完了フィードバック、エラー検出、修正ガイダンスを含む47,775本の対話サンプルで構成されている。
GuideMeの既存のモデルを評価するために,シーケンスレベルのアライメントのための時間的意味的二分法マッチング,介入タイミングのための行動分類,コンテンツ品質のためのLCM-as-a-Judgeからなる代表MLLMの能力を測定するための3成分評価フレームワークを設計した。
命令の提供に長けているにもかかわらず、既存のMLLMは実行エラーを特定し、修正的なフィードバックで応答するのに一貫して失敗している。
コードとデータはhttps://fawnliu.github.io/project/guideme.comで公開されている。
関連論文リスト
- Benchmarking Visual State Tracking in Multimodal Video Understanding [67.73383974166462]
マルチモーダル大言語モデル(MLLM)における視覚状態追跡の診断のためのVisual STAte Tracking benchmark (VSTAT)を導入する。
VSTATは、合成ビデオと実世界のビデオの両方から834のクリップで構成され、1500の質問と組み合わせて、1つのフレームまたはショートセグメントから答えられない。
MLLMは理由を見つけ、テキストで正しく追跡するが、追跡するイベントを視覚的に知覚することができない。
論文 参考訳（メタデータ） (2026-06-02T17:12:05Z) - Can Multi-Modal LLMs Provide Live Step-by-Step Task Guidance? [27.55597863240135]
Qualcomm Interactive Cooking ベンチマークを用いて,最先端のマルチモーダル言語モデル (LLM) の評価を行った。
対話型指導指導のためのマルチモーダルLLMであるLiveMambaを紹介する。
この作業は、最初の専用のベンチマークと、ライブで配置されたコーチングの開発と評価のための強力なベースラインを提供する。
論文 参考訳（メタデータ） (2025-11-27T00:54:35Z) - Controlling Multimodal LLMs via Reward-guided Decoding [17.5544679985101]
マルチモーダル大言語モデル (MLLM) の適応性について, 制御復号化による検討を行った。
本手法では,視覚的接地のための報酬モデルを構築し,MLLMの復号プロセスのガイドに使用する。
本手法を標準対象幻覚ベンチマークで評価し,MLLMの推論に対する制御性について検討した。
論文 参考訳（メタデータ） (2025-08-15T17:29:06Z) - A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。
より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。
一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
論文 参考訳（メタデータ） (2025-08-07T08:52:11Z) - Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification [17.67273082468732]
検証 -- エージェントの振る舞いに報酬を割り当てる関数 -- は、数学やボードゲームのような分野におけるAIの進歩の鍵となっている。
我々は,Multimodal Large Language Models (MLLM) を,Webナビゲーション,コンピュータ利用,ロボット操作におけるエージェントトラジェクトリの検証手段として評価した。
本稿では,MLLMの知識と推論をより効果的に活用する軽量な手法である自己検証(SGV)を提案する。
論文 参考訳（メタデータ） (2025-07-15T18:50:29Z) - If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。
我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
論文 参考訳（メタデータ） (2025-03-30T16:50:57Z) - Keeping Yourself is Important in Downstream Tuning Multimodal Large Language Model [63.14883657299359]
MLLM(Multi-modal Large Language Models)は、視覚的および言語的推論を統合して、画像キャプションや視覚的質問応答といった複雑なタスクに対処する。
ダウンストリームタスクのためのMLLMのチューニングには,2つの重要な課題がある。タスク-Expert – 事前トレーニングとターゲットデータセット間の分散シフトによってターゲットのパフォーマンスが制限される。
論文 参考訳（メタデータ） (2025-03-06T15:29:13Z) - LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。
LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。
精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2025-01-28T03:18:48Z) - Unveiling Uncertainty: A Deep Dive into Calibration and Performance of Multimodal Large Language Models [36.81503322875839]
MLLM(Multimodal large language model)は、画像キャプションや視覚的質問応答といったタスクの視覚的データとテキスト的データを組み合わせたモデルである。
本稿では,MLLMの代表例について,様々なシナリオにおけるキャリブレーションに着目して検討する。
その結果, キャリブレーションの相違は認められなかったが, キャリブレーションの相違は認められなかった。
論文 参考訳（メタデータ） (2024-12-19T09:10:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。