論文の概要: BrickPal: Augmented Reality-based Assembly Instructions for Brick Models
- arxiv url: http://arxiv.org/abs/2307.03162v1
- Date: Thu, 6 Jul 2023 17:42:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 13:08:22.249116
- Title: BrickPal: Augmented Reality-based Assembly Instructions for Brick Models
- Title(参考訳): BrickPal: Brickモデルのための拡張現実ベースのアセンブリ命令
- Authors: Yao Shi, Xiaofeng Zhang, Ran zhang, Zhou Yang, Xiao Tang, Hongni Ye,
Yi Wu
- Abstract要約: BrickPalは拡張現実ベースのシステムで、拡張現実のヘッドマウントディスプレイで組み立て指示を視覚化する。
自然言語処理(NLP)技術を用いて、可塑性アセンブリシーケンスを生成し、ARヘッドセットでリアルタイムガイダンスを提供する。
ユーザスタディでは,BrickPalが従来の組立方法と比較して,レンガ組立におけるユーザ支援に有効であることを示す。
- 参考スコア(独自算出の注目度): 20.585631669565295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The assembly instruction is a mandatory component of Lego-like brick sets.The
conventional production of assembly instructions requires a considerable amount
of manual fine-tuning, which is intractable for casual users and customized
brick sets.Moreover, the traditional paper-based instructions lack
expressiveness and interactivity.To tackle the two problems above, we present
BrickPal, an augmented reality-based system, which visualizes assembly
instructions in an augmented reality head-mounted display. It utilizes Natural
Language Processing (NLP) techniques to generate plausible assembly sequences,
and provide real-time guidance in the AR headset.Our user study demonstrates
BrickPal's effectiveness at assisting users in brick assembly compared to
traditional assembly methods. Additionally, the NLP algorithm-generated
assembly sequences achieve the same usability with manually adapted sequences.
- Abstract(参考訳): The assembly instruction is a mandatory component of Lego-like brick sets.The conventional production of assembly instructions requires a considerable amount of manual fine-tuning, which is intractable for casual users and customized brick sets.Moreover, the traditional paper-based instructions lack expressiveness and interactivity.To tackle the two problems above, we present BrickPal, an augmented reality-based system, which visualizes assembly instructions in an augmented reality head-mounted display.
本研究は,自然言語処理(nlp)技術を用いて実現可能なアセンブリシーケンスを生成し,arヘッドセットにおけるリアルタイムガイダンスを提供する。
さらに、nlpアルゴリズムが生成するアセンブリシーケンスは、手動で適応したシーケンスで同じユーザビリティを実現する。
関連論文リスト
- EasyInstruct: An Easy-to-use Instruction Processing Framework for Large
Language Models [38.81710071144466]
EasyInstructは、Large Language Models (LLMs)のための使いやすい命令処理フレームワークである。
EasyInstructは命令生成、選択、プロンプトをモジュール化し、それらの組み合わせと相互作用も考慮する。
論文 参考訳(メタデータ) (2024-02-05T14:33:56Z) - CESAR: Automatic Induction of Compositional Instructions for Multi-turn
Dialogs [27.092581945832713]
本稿では,多数のダイアログタスクを同じ形式で統一する新しいフレームワークであるCESARを提案する。
命令ベースのダイアログタスクのベンチマークであるInstructDialにCESARを適用する。
論文 参考訳(メタデータ) (2023-11-29T06:02:16Z) - Multi-3D-Models Registration-Based Augmented Reality (AR) Instructions
for Assembly [7.716174636585781]
BRICKxAR (M3D)は、物理アセンブリモデルの組み立て位置でレンダリングされた3Dアセンブリ部品を可視化する。
BRICKxAR (M3D) はディープラーニングで訓練された3Dモデルの登録を利用する。
論文 参考訳(メタデータ) (2023-11-27T21:53:17Z) - From Language Modeling to Instruction Following: Understanding the
Behavior Shift in LLMs after Instruction Tuning [66.82960120533544]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較して、命令チューニングの影響について研究する。
論文 参考訳(メタデータ) (2023-09-30T21:16:05Z) - Enhancing Large Language Models Against Inductive Instructions with
Dual-critique Prompting [55.15697111170836]
本稿では,大規模言語モデル(LLM)のテクスト誘導的指示に対する行動を明らかにするとともに,その真しさと有用性を高める。
広範囲な人的・自動的な評価の結果,帰納的命令処理において LLM に共通する脆弱性が発見された。
異なる帰納的スタイルがモデルに同じエラーを識別する能力に影響を及ぼし、基礎となる仮定の複雑さがモデルの性能にも影響を及ぼす。
論文 参考訳(メタデータ) (2023-05-23T06:38:20Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳(メタデータ) (2023-05-18T17:59:49Z) - Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural
Language Instructions [53.21504989297547]
本研究では,Minecraftのような環境下でのオブジェクト構築作業において,言語モデルと強化学習を組み合わせた新しい手法を提案する。
提案手法は,まず命令から一貫した達成可能なサブゴールのセットを生成し,学習済みのRLポリシーで関連するサブタスクを完了させる。
論文 参考訳(メタデータ) (2022-11-01T18:30:42Z) - Sequential Brick Assembly with Efficient Constraint Satisfaction [39.869693447362145]
本研究では,高忠実度構造を有するLEGOブロック組立体の系列を生成する問題に対処する。
提案手法は,U字型スパース3次元畳み込みネットワークを用いて,次のブロック位置とその信頼性を予測するためのレンガ構造評価を行う。
私たちのモデルは、手作りのレンガ組立データセットを使う代わりに、新しい高忠実度構造を作成できるように、多数の3Dオブジェクトで訓練されています。
論文 参考訳(メタデータ) (2022-10-03T15:35:08Z) - Break and Make: Interactive Structural Understanding Using LEGO Bricks [61.01136603613139]
私たちは、LEGOモデルの組み立て、分解、操作が可能な、完全にインタラクティブな3Dシミュレータを構築しました。
シーケンス・ツー・シーケンス・モデルを用いてこの問題を解決するための第一歩を踏み出す。
論文 参考訳(メタデータ) (2022-07-27T18:33:09Z) - Brick-by-Brick: Combinatorial Construction with Deep Reinforcement
Learning [52.85981207514049]
我々は,ユニットプリミティブを逐次組み立てるビルディングエージェントを必要とする,新しい定式化,複雑な構成を導入する。
対象物を構築するために,エージェントに対して正確な情報や明示的な情報ではなく,所望の目標(すなわち2次元画像)に関する不完全な知識を提供する。
提案手法は,対象オブジェクトの1つの画像や複数ビューに条件付けされた未確認オブジェクトの構築に成功していることを示す。
論文 参考訳(メタデータ) (2021-10-29T01:09:51Z) - Object Detection for Understanding Assembly Instruction Using
Context-aware Data Augmentation and Cascade Mask R-CNN [4.3310896118860445]
音声バブルセグメンテーションのための文脈認識型データ拡張手法を開発した。
また,深層学習は,命令中の重要なオブジェクトを検出することで,アセンブリ命令の理解に有用であることが示された。
論文 参考訳(メタデータ) (2021-01-07T12:10:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。