論文の概要: Text to Blind Motion

• arxiv url: http://arxiv.org/abs/2412.05277v1
• Date: Fri, 06 Dec 2024 18:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:57.223793
• Title: Text to Blind Motion
• Title（参考訳）: テキスト・トゥ・ブラインド・モーション
• Authors: Hee Jae Kim, Kathakoli Sengupta, Masaki Kuribayashi, Hernisa Kacorri, Eshed Ohn-Bar,
• Abstract要約: 視覚障害者のための最初のマルチモーダル・モーション・ベンチマークであるBlindWaysを紹介した。 実際の都市環境では,11人の視覚障害者が8つの経路をナビゲートするウェアラブルセンサを用いて3Dモーションデータを収集する。 我々は、最先端の3D予測モデルをベンチマークし、既成および事前学習に基づく手法による性能の低下を見出した。
• 参考スコア（独自算出の注目度）: 14.421498287177902
• License:
• Abstract: People who are blind perceive the world differently than those who are sighted, which can result in distinct motion characteristics. For instance, when crossing at an intersection, blind individuals may have different patterns of movement, such as veering more from a straight path or using touch-based exploration around curbs and obstacles. These behaviors may appear less predictable to motion models embedded in technologies such as autonomous vehicles. Yet, the ability of 3D motion models to capture such behavior has not been previously studied, as existing datasets for 3D human motion currently lack diversity and are biased toward people who are sighted. In this work, we introduce BlindWays, the first multimodal motion benchmark for pedestrians who are blind. We collect 3D motion data using wearable sensors with 11 blind participants navigating eight different routes in a real-world urban setting. Additionally, we provide rich textual descriptions that capture the distinctive movement characteristics of blind pedestrians and their interactions with both the navigation aid (e.g., a white cane or a guide dog) and the environment. We benchmark state-of-the-art 3D human prediction models, finding poor performance with off-the-shelf and pre-training-based methods for our novel task. To contribute toward safer and more reliable systems that can seamlessly reason over diverse human movements in their environments, our text-and-motion benchmark is available at https://blindways.github.io.
• Abstract（参考訳）: 視覚障害者は、目が見えない人とは異なる世界を知覚し、異なる運動特性をもたらす可能性がある。 例えば、交差点で横断する際、目の見えない個人は、まっすぐな道からより曲がりくねったり、縁石や障害物の周りをタッチで探したりといった異なる動きパターンを持つことがある。 これらの行動は、自動運転車のような技術に組み込まれた運動モデルでは予測できないように見える。 しかし、既存の3D人間の動きのデータセットには、現在多様性が欠けており、目に見えない人に偏っているため、そのような動きを捉える3Dモーションモデルがこれまで研究されていない。 本研究では,視覚障害者のための最初のマルチモーダル・モーション・ベンチマークであるBlindWaysを紹介する。 実際の都市環境では,11人の視覚障害者が8つの経路をナビゲートするウェアラブルセンサを用いて3Dモーションデータを収集する。 さらに,視覚障害者の運動特性とナビゲーション支援(例えば,白杖,ガイド犬)と環境との相互作用を捉えるリッチテキスト記述を提供する。 我々は、最先端の3D予測モデルをベンチマークし、新しいタスクのためのオフ・ザ・シェルフと事前学習に基づく手法で、性能が劣っていることを発見した。 環境における多様な人間の動きをシームレスに推論できる、より安全で信頼性の高いシステムに貢献するために、我々のテキスト・アンド・モーション・ベンチマークはhttps://blindways.github.io.comで公開されている。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [90.39860012099393]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• Robots That Can See: Leveraging Human Pose for Trajectory Prediction [30.919756497223343]
  本研究では,人間中心環境における未来の軌道を予測するためのトランスフォーマーアーキテクチャを提案する。 結果として得られたモデルは、将来の人間の軌道予測に固有の不確実性を捉えている。 我々は,限られた履歴データを持つ新しいエージェントを誤りの主な要因として同定し,予測誤差を低減するために3次元骨格ポーズの相補的な性質を実証する。
  論文  参考訳（メタデータ） (2023-09-29T13:02:56Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• DMMGAN: Diverse Multi Motion Prediction of 3D Human Joints using Attention-Based Generative Adverserial Network [9.247294820004143]
  本稿では,多種多様な人間の動きを予測するためのトランスフォーマーに基づく生成モデルを提案する。 本モデルでは、まず、股関節に対する身体の姿勢を予測し、次に、textitHip予測モジュールが、予測された各ポーズフレームに対する股関節運動の軌跡を予測する。 本研究では,ヒトの動作予測において,股関節運動を伴う多動将来の軌跡を予測しながら,最先端の動作予測に優れることを示す。
  論文  参考訳（メタデータ） (2022-09-13T23:22:33Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)
• Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
  物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。 人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。 様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
  論文  参考訳（メタデータ） (2021-05-03T17:57:07Z)
• Long-term Human Motion Prediction with Scene Context [60.096118270451974]
  人間の動きを予測するための新しい3段階フレームワークを提案する。 提案手法はまず,まず複数の人間の動作目標を抽出し,各目標に向けて3次元人間の動作経路を計画し,最後に各経路に続く3次元人間のポーズシーケンスを予測する。
  論文  参考訳（メタデータ） (2020-07-07T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。