論文の概要: From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2603.22321v1
• Date: Fri, 20 Mar 2026 11:47:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.058474
• Title: From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs
• Title（参考訳）: インストラクションからアシストへ:マルチモーダルLLM評価のためのアセンブリビデオを用いた指導マニュアルのデータセット
• Authors: Federico Toschi, Nicolò Brunello, Andrea Sassella, Vincenzo Scotti, Mark James Carman,
• Abstract要約: 我々は,現在利用可能なLarge Language Models(LLM)の品質を評価することを目指しており,このような技術的タスクを支援することを目的としている。 ステップ・バイ・ステップ・ラベルとマニュアル・レファレンスによる家具組立のデータセット(M2AD)について検討した。 その結果,いくつかのモデルでは手続き列が理解されているものの,その性能はアーキテクチャやハードウェアの制約によって制限されていることがわかった。
• 参考スコア（独自算出の注目度）: 0.16383644639245779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent advancements introduced by Large Language Models (LLMs) have transformed how Artificial Intelligence (AI) can support complex, real world tasks, pushing research outside the text boundaries towards multi modal contexts and leading to Multimodal Large Language Models (MLMs). Given the current adoption of LLM based assistants in solving technical or domain specific problems, the natural continuation of this trend is to extend the input domains of these assistants exploiting MLMs. Ideally, these MLMs should be used as real time assistants in procedural tasks, hopefully integrating a view of the environment where the user being assisted is, or even better sharing the same point of view via Virtual Reality (VR) or Augmented Reality (AR) supports, to reason over the same scenario the user is experiencing. With this work, we aim at evaluating the quality of currently openly available MLMs to provide this kind of assistance on technical tasks. To this end, we annotated a data set of furniture assembly with step by step labels and manual references: the Manual to Action Dataset (M2AD). We used this dataset to assess (1) to which extent the reasoning abilities of MLMs can be used to reduce the need for detailed labelling, allowing for more efficient, cost effective annotation practices, (2) whether MLMs are able to track the progression of assembly steps (3) and whether MLMs can refer correctly to the instruction manual pages. Our results showed that while some models understand procedural sequences, their performance is limited by architectural and hardware constraints, highlighting the need for multi image and interleaved text image reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)が最近導入した進歩は、人工知能(AI)が複雑な実世界のタスクをどのようにサポートするかを変え、テキスト境界外の研究をマルチモーダルなコンテキストへと押し上げ、マルチモーダルな大規模言語モデル(MLM)へと導く。 LLMベースのアシスタントが技術的あるいはドメイン固有の問題を解決するために現在採用されていることを踏まえると、この傾向の自然な継続は、これらのアシスタントがMLMを活用するための入力ドメインを拡張することである。 理想的には、これらのMLMは手続き的なタスクにおけるリアルタイムアシスタントとして使用され、ユーザーが支援している環境のビューを統合するか、あるいはVR(Virtual Reality)やAR(Augmented Reality)を通して同じ視点を共有することで、ユーザが経験しているのと同じシナリオを推論することが望まれます。 本研究は、現在公開されているMLMの品質を評価し、技術的タスクにこの種の支援を提供することを目的としている。 この目的のために、私たちは、ステップバイステップラベルと手動参照で家具組み立てのデータセットに注釈を付けました。 本データセットを用いて,(1)MLMの推論能力の程度を,詳細なラベル付けの必要性の低減,(2)MLMが組み立て工程の進行を追跡できるかどうか,(2)MLMが指示マニュアルページを正しく参照できるかどうか,などを評価する。 これらの結果から, 手続き的シーケンスを理解できるモデルもあるが, アーキテクチャやハードウェアの制約により性能が制限され, マルチイメージやインターリーブなテキスト画像の推論の必要性が強調された。

関連論文リスト

• Empowering Reliable Visual-Centric Instruction Following in MLLMs [30.078761482873745]
  MLLMの命令追従能力を評価するための既存のベンチマークは、主に言語命令に焦点を当てている。 我々は、体系的に構築されたデータセットを伴う新しいベンチマークであるVC-IFEvalを紹介する。 本ベンチマークでは,視覚に依存した制約を命令設計に体系的に組み込んで,より厳密できめ細かな評価を可能にする。
  論文  参考訳（メタデータ） (2026-01-06T17:23:33Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [111.51612340032052]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。