論文の概要: AI-based worker guidance in assembly and disassembly operations using multimodal ego/exo-centric data capture and structured task knowledge
- arxiv url: http://arxiv.org/abs/2608.22617v1
- Date: Sun, 23 Aug 2026 21:41:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.803242
- Title: AI-based worker guidance in assembly and disassembly operations using multimodal ego/exo-centric data capture and structured task knowledge
- Title（参考訳）: マルチモーダル・エゴ/エクソ中心型データキャプチャと構造化タスク知識を用いた組立・解体作業におけるAIベースの労働者指導
- Abstract要約: 組み立てと分解のプロセスは、文書化、再利用、転送が難しい専門家の知識に依存します。
本稿では,エゴセントリックおよびエゴセントリックな記録を用いて,専門家による実験から構造化タスク知識を抽出する手法を提案する。
- 参考スコア（独自算出の注目度）: 9.167082845109439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Assembly and disassembly processes rely on expert knowledge that is difficult to document, reuse, and transfer. This paper presents a data-centric approach for extracting structured task knowledge from expert demonstrations using egocentric and exocentric recordings. Temporal and multimodal information from video and narration is jointly encoded to derive structured task representations that enable procedural documentation and context-aware worker guidance. The approach is evaluated on a real-world disassembly case study, demonstrating that video-based representations capture procedural structure and execution context beyond static image-based methods. The results highlight the potential of egocentric video understanding for repair, training, and circular manufacturing applications. Project website: https://indego-assistant.github.io/
- Abstract（参考訳）: 組み立てと分解のプロセスは、文書化、再利用、転送が難しい専門家の知識に依存します。
本稿では,エゴセントリックおよびエゴセントリックな記録を用いて,専門家による実験から構造化タスク知識を抽出する手法を提案する。
ビデオとナレーションからの時間的・多モーダルな情報は共同で符号化され、手続き的な文書化やコンテキスト対応の作業指導を可能にする構造化されたタスク表現を導出する。
この手法は実世界の非集合的なケーススタディで評価され、静的な画像ベース手法を超えて、ビデオベースの表現が手続き構造と実行コンテキストをキャプチャすることを示した。
その結果, 修復, トレーニング, 円形製造への応用において, エゴセントリックな映像理解の可能性が浮かび上がった。
プロジェクトウェブサイト:https://indego-assistant.github.io/
関連論文リスト
- Reflecting Process Expertise in Procedural Material Generation [47.15641864882028]
手続き的な素材作成は、デジタルコンテンツ作成、視覚効果、および3Dアセットデザインの応用を支えている。
プロセストレースとして、プロセスのステップ、パラメータ、設計意図のテキスト記録を専門的な合成として表現する。
チュートリアル動画をプロセス知識の源泉として活用し、自動ビデオ解析ツールを用いてテキストトレースを抽出する。
論文 参考訳（メタデータ） (2026-07-14T22:59:32Z) - Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance [55.32799307123252]
本稿では,既存のビデオ編集ペアを高忠実度トレーニング四重項に変換するスケーラブルなデータ生成パイプラインを提案する。
本稿では,学習可能なクエリと参照セマンティックガイダンスのための潜在視覚特徴を相乗化する統合編集アーキテクチャKiwi-Editを提案する。
論文 参考訳（メタデータ） (2026-03-02T18:46:28Z) - Learning Procedural-aware Video Representations through State-Grounded Hierarchy Unfolding [12.083424392460406]
我々は、オブジェクト構成のテキストスナップショットである'states'を、モデルが実際に見ることができるものにプロシージャを固定する視覚的に接地されたセマンティック層として導入する。
我々は、この洞察を新しいタスク-ステップ-ステート(TSS)フレームワークで定式化し、そこでは、観測可能な状態間の遷移を駆動するステップを通じてタスクが達成される。
提案手法は,タスク認識,ステップ認識,次のステップ予測など,複数の下流タスクのベースラインモデルより優れている。
論文 参考訳（メタデータ） (2025-11-25T08:46:11Z) - Generative Timelines for Instructed Visual Assembly [106.80501761556606]
この研究の目的は、自然言語の指示を通じて視覚的タイムライン(例えばビデオ)を操作することである。
そこで本研究では,教師付き視覚アセンブリタスクの実行を訓練した生成モデルであるTimeline Assemblerを提案する。
論文 参考訳（メタデータ） (2024-11-19T07:26:30Z) - Attention Where It Matters: Rethinking Visual Document Understanding
with Selective Region Concentration [26.408343160223517]
本稿では,SeRumという文書理解モデルを提案する。
SeRumは、画像理解と認識タスクを視覚トークンの局所的な復号プロセスに変換する。
本稿では,SeRumが文書理解タスクの最先端性能とテキストスポッティングタスクの競合結果を達成することを示す。
論文 参考訳（メタデータ） (2023-09-03T10:14:34Z) - Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。
本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
論文 参考訳（メタデータ） (2022-05-22T13:14:09Z) - Shedding Light on Blind Spots: Developing a Reference Architecture to
Leverage Video Data for Process Mining [0.0]
本稿では,コンピュータビジョンとプロセスマイニングのギャップを埋めるための参照アーキテクチャを提案する。
提案した参照アーキテクチャのプロトタイプインスタンス化により,非構造化ビデオデータからプロセス関連イベントのほとんどを自動的に抽出することができる。
論文 参考訳（メタデータ） (2020-10-21T20:01:52Z) - Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。
常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。
我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
論文 参考訳（メタデータ） (2020-09-28T10:28:40Z) - A Benchmark for Structured Procedural Knowledge Extraction from Cooking
Videos [126.66212285239624]
本稿では,調理ビデオから抽出した構造化手続き的知識のベンチマークを提案する。
手動で注釈付けしたオープン語彙リソースには、356の指導的調理ビデオと15,523のビデオクリップ/文レベルのアノテーションが含まれています。
論文 参考訳（メタデータ） (2020-05-02T05:15:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。