論文の概要: Every Mistake Counts in Assembly
- arxiv url: http://arxiv.org/abs/2307.16453v1
- Date: Mon, 31 Jul 2023 07:20:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 15:29:23.392727
- Title: Every Mistake Counts in Assembly
- Title(参考訳): 議会のすべての誤算数
- Authors: Guodong Ding, Fadime Sener, Shugao Ma, Angela Yao
- Abstract要約: 学習知識ベースを利用して注文ミスを検出するシステムを提案する。
本フレームワークは,観察された誤りに基づく空間的,時間的信念に基づく知識基盤を構築する。
本研究では, 実世界の行動系列において, 空間的, 時間的信念が誤った順序を識別できることを実験的に実証した。
- 参考スコア(独自算出の注目度): 26.903961683742494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One promising use case of AI assistants is to help with complex procedures
like cooking, home repair, and assembly tasks. Can we teach the assistant to
interject after the user makes a mistake? This paper targets the problem of
identifying ordering mistakes in assembly procedures. We propose a system that
can detect ordering mistakes by utilizing a learned knowledge base. Our
framework constructs a knowledge base with spatial and temporal beliefs based
on observed mistakes. Spatial beliefs depict the topological relationship of
the assembling components, while temporal beliefs aggregate prerequisite
actions as ordering constraints. With an episodic memory design, our algorithm
can dynamically update and construct the belief sets as more actions are
observed, all in an online fashion. We demonstrate experimentally that our
inferred spatial and temporal beliefs are capable of identifying incorrect
orderings in real-world action sequences. To construct the spatial beliefs, we
collect a new set of coarse-level action annotations for Assembly101 based on
the positioning of the toy parts. Finally, we demonstrate the superior
performance of our belief inference algorithm in detecting ordering mistakes on
the Assembly101 dataset.
- Abstract(参考訳): AIアシスタントの有望なユースケースの1つは、調理、家庭の修理、組み立て作業といった複雑な手順を支援することだ。
ユーザがミスを犯した後、アシスタントにインタージェクトを教えられるか?
本稿では,組立手順における注文ミスの特定を課題とする。
学習知識ベースを利用して注文ミスを検出するシステムを提案する。
本フレームワークは,観測ミスに基づく空間的,時間的信念に基づく知識基盤を構築する。
空間的信念は組み立てコンポーネントのトポロジカルな関係を描き、時間的信念は事前のアクションを順序付けの制約として集約する。
エピソディクスメモリ設計により、より多くのアクションが観察されるにつれて、アルゴリズムは信念セットを動的に更新し構築することができる。
本研究では, 実世界の行動系列において, 空間的, 時間的信念が誤った順序を識別できることを示す。
空間的信念を構築するために,玩具部品の位置に基づくアセンブリ101のための粗いレベルのアクションアノテーションを新たに収集する。
最後に,アセンブリ101データセット上での順序誤りの検出において,信念推論アルゴリズムの優れた性能を示す。
関連論文リスト
- Supervised Representation Learning towards Generalizable Assembly State Recognition [5.852028557154309]
アセンブリ状態認識は、アセンブリ手順の実行を促進し、効率の向上とエラーの最小化のためのフィードバックを提供する。
本稿では、表現学習と新たな中間状態情報損失関数修正(ISIL)に基づくアプローチを提案する。
ISILは、状態間のラベルのない遷移を活用し、クラスタリングと分類性能の大幅な改善を示す。
論文 参考訳(メタデータ) (2024-08-21T15:24:40Z) - Temporally Grounding Instructional Diagrams in Unconstrained Videos [51.85805768507356]
本稿では,ビデオ中の命令図中のクエリ列を同時にローカライズするという課題について検討する。
既存のほとんどのメソッドは、クエリの固有の構造を無視しながら、一度に1つのクエリをグラウンドすることに焦点を当てている。
ステップダイアグラムの視覚的特徴を包括的にペアリングして構築した複合クエリを提案する。
ステップ図のグラウンド化のためのIAWデータセットと自然言語クエリのグラウンド化のためのYouCook2ベンチマークに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2024-07-16T05:44:30Z) - Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。
また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。
インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
論文 参考訳(メタデータ) (2024-06-17T16:40:21Z) - PREGO: online mistake detection in PRocedural EGOcentric videos [49.72812518471056]
自己中心型ビデオにおける誤り検出のための,最初のオンライン一級分類モデルであるPregoを提案する。
PreGOは、現在のアクションをモデル化するオンラインアクション認識コンポーネントと、次のアクションを予測するシンボリック推論モジュールに基づいている。
手続き的誤り検出のオンラインベンチマークに適応する2つの手続き的自己中心型ビデオデータセットであるAmbly101とEpic-tentについてPreGOを評価した。
論文 参考訳(メタデータ) (2024-04-02T13:27:28Z) - Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳(メタデータ) (2024-01-02T03:37:11Z) - Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。
本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
論文 参考訳(メタデータ) (2022-05-22T13:14:09Z) - Assembly101: A Large-Scale Multi-View Video Dataset for Understanding
Procedural Activities [29.05606394634704]
Assembly101は、4321人の人々が101台の「テイク・アパルト」のおもちゃを組み立てて分解する、新しいプロシージャ活動データセットである。
参加者は固定命令なしで作業し、シーケンスはアクション順序、ミス、修正のリッチで自然なバリエーションを特徴とする。
シーケンスには100K以上の粗い部分と1Mのきめ細かいアクションセグメントと18Mの3Dハンドポーズがアノテートされている。
論文 参考訳(メタデータ) (2022-03-28T12:59:50Z) - Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。
CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。
干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
論文 参考訳(メタデータ) (2020-10-22T12:07:43Z) - MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action
Recognition [36.74293548921099]
動作予測,ジグソーパズル認識,コントラスト学習を統合し,異なる側面から骨格の特徴を学習する。
NW-UCLA, NTU RGB+D, PKUMMDデータセットを用いた実験は, 行動認識における顕著な性能を示した。
論文 参考訳(メタデータ) (2020-10-12T11:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。