論文の概要: Let's Play for Action: Recognizing Activities of Daily Living by Learning from Life Simulation Video Games

• arxiv url: http://arxiv.org/abs/2107.05617v1
• Date: Mon, 12 Jul 2021 17:53:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:08:10.501444
• Title: Let's Play for Action: Recognizing Activities of Daily Living by Learning from Life Simulation Video Games
• Title（参考訳）: let's play for action: 生活シミュレーションゲームから学ぶことによる日常生活活動の認識
• Authors: Alina Roitberg, David Schneider, Aulia Djamal, Constantin Seibold, Simon Rei{\ss}, Rainer Stiefelhagen
• Abstract要約: 我々は、人気のある商用ゲームThe SIMS 4で作成されたSIMS4ACTIONデータセットを紹介する。 Sims4Actionは「トップダウン」な方法でアクション・オブ・関心を具体的に実行することで構築され、ゲーム環境は環境を自由に切り替えることができます。 筆者らは,映像に基づく行動認識のための2つの現代的なアルゴリズムをフレームワークに統合し,生活シミュレーションゲームの価値を,トレーニングデータの安価かつはるかに少ない情報源として明らかにした。
• 参考スコア（独自算出の注目度）: 26.79922049563356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recognizing Activities of Daily Living (ADL) is a vital process for intelligent assistive robots, but collecting large annotated datasets requires time-consuming temporal labeling and raises privacy concerns, e.g., if the data is collected in a real household. In this work, we explore the concept of constructing training examples for ADL recognition by playing life simulation video games and introduce the SIMS4ACTION dataset created with the popular commercial game THE SIMS 4. We build Sims4Action by specifically executing actions-of-interest in a "top-down" manner, while the gaming circumstances allow us to freely switch between environments, camera angles and subject appearances. While ADL recognition on gaming data is interesting from the theoretical perspective, the key challenge arises from transferring it to the real-world applications, such as smart-homes or assistive robotics. To meet this requirement, Sims4Action is accompanied with a GamingToReal benchmark, where the models are evaluated on real videos derived from an existing ADL dataset. We integrate two modern algorithms for video-based activity recognition in our framework, revealing the value of life simulation video games as an inexpensive and far less intrusive source of training data. However, our results also indicate that tasks involving a mixture of gaming and real data are challenging, opening a new research direction. We will make our dataset publicly available at https://github.com/aroitberg/sims4action.
• Abstract（参考訳）: ADL(Recognizing Activity of Daily Living)は、インテリジェントな補助ロボットにとって重要なプロセスであるが、大規模な注釈付きデータセットの収集には時間を要する時間的ラベリングと、実際の家庭で収集されたデータなどのプライバシー上の懸念が伴う。 本研究では,生活シミュレーションビデオゲームによるADL認識のためのトレーニング例構築のコンセプトを探求し,人気のある商用ゲームThe SIMS 4で作成したSIMS4ACTIONデータセットを紹介する。 sims4actionは「トップダウン」方式で特別にアクション・オブ・インテイントを実行し、ゲーム環境は環境、カメラアングル、被写体外観を自由に切り替えることができる。 ゲームデータに対するadlの認識は理論的には興味深いが、スマートホームやアシストロボティクスといった現実世界のアプリケーションに移行することで生じる重要な課題である。 この要件を満たすために、sims4actionにはgamingtorealベンチマークが付属しており、既存のadlデータセットから派生した実ビデオでモデルを評価する。 生活シミュレーションビデオゲームの価値を,より安価でより侵入性の低いトレーニングデータソースとして明らかにし,映像ベースのアクティビティ認識のための2つの現代的アルゴリズムをフレームワークに統合した。 しかし,ゲームと実データを組み合わせて行う作業は困難であり,新たな研究の方向性が開けることも示唆された。 私たちはデータセットをhttps://github.com/aroitberg/sims4actionで公開します。

関連論文リスト

• RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
  本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。 私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。 本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-04T17:41:31Z)
• Benchmarking the Sim-to-Real Gap in Cloth Manipulation [10.530012817995656]
  布の操作におけるシム・トゥ・リアルギャップを評価するためのベンチマークデータセットを提案する。 このデータセットを用いて、一般的な4つの変形可能なオブジェクトシミュレータの現実的ギャップ、計算時間、安定性を評価する。
  論文  参考訳（メタデータ） (2023-10-14T09:36:01Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
  我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。 本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
  論文  参考訳（メタデータ） (2023-04-18T02:28:55Z)
• Promptable Game Models: Text-Guided Game Simulation via Masked Diffusion Models [68.85478477006178]
  ニューラルビデオゲームシミュレータのためのPGM(Promptable Game Model)を提案する。 ユーザーは高レベルのアクションシーケンスと低レベルのアクションシーケンスでゲームを実行することができる。 私たちのPGMは、エージェントの目標をプロンプトの形で指定することで、ディレクターのモードをアンロックします。 提案手法は,既存のニューラルビデオゲームシミュレータのレンダリング品質を著しく上回り,現在の最先端の能力を超えたアプリケーションをアンロックする。
  論文  参考訳（メタデータ） (2023-03-23T17:43:17Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
  本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
  論文  参考訳（メタデータ） (2020-05-25T14:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。