論文の概要: Robot Learning to Communicate through Projected Visual Abstractions

• arxiv url: http://arxiv.org/abs/2607.22434v1
• Date: Fri, 24 Jul 2026 15:52:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.173224
• Title: Robot Learning to Communicate through Projected Visual Abstractions
• Title（参考訳）: 投影された視覚的抽象化によるコミュニケーションのためのロボット学習
• Abstract要約: 人間は、影、人形、反射など、身体の抽象を通して日常的にコミュニケーションする。 ソフトスキンに適合した21自由度手と学習されたシャドウ自己モデルを用いて,ダイナミックなシャドウ表現が可能なロボットシステムを提案する。 その結果、ロボットが自身の投影された視覚的抽象化を制御し、コミュニケーションやビジュアルなストーリーテリングを行うためのフレームワークが確立された。
• 参考スコア（独自算出の注目度）: 4.725793709831403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans routinely communicate through abstractions of their bodies, including shadows, silhouettes, and reflections. Yet robots remain largely confined to expressing themselves through their physical morphology. Enabling robots to communicate through such projected visual abstractions requires reasoning not only about bodily motion but also about how that motion is transformed into an external representation perceived by an observer. Among these abstractions, shadows provide a particularly compelling example because they emerge directly from the robot's embodiment while remaining visually distinct from the body itself. Here, we present a robotic system capable of dynamic shadow expression using a 21-degree-of-freedom dexterous hand with compliant soft skin and a learned shadow self-model. The soft-skinned embodiment reduces light leakage to produce visually continuous silhouettes, while the differentiable self-model learns the mapping between hand configurations and projected shadow appearance through task-agnostic self-exploration. Given a target shadow image or video, the robot optimizes its hand configurations through gradient-based search over 1 the learned self-model and refines the solution through collision-aware simulation to obtain physically feasible motions. For dynamic shadow performance, we further introduce expressive-region objectives, temporal smoothness regularization, and keyframe-based optimization to preserve visually important motion cues while reducing optimization complexity. We demonstrate robotic shadow expression across sign-language gestures, hand-shadow puppetry, and animal motion imitation in both simulation and physical experiments. These results establish a framework for enabling robots to manipulate projected visual abstractions of themselves for communication and visual storytelling.
• Abstract（参考訳）: 人間は、影、シルエット、反射などの身体の抽象を通して日常的にコミュニケーションする。 しかし、ロボットはその物理的形態を通して自分自身を表現することに集中している。 このような視覚的抽象化を通してロボットをコミュニケーションさせるには、身体の動きだけでなく、その動きが観察者によって知覚される外部の表現にどのように変換されるかについても推論する必要がある。 これらの抽象化の中で、影が特に魅力的な例として挙げられるのは、ロボットの体から直接現われると同時に、視覚的に身体と区別されるためである。 本稿では, ソフトスキンに適合した21自由度手と学習用シャドウ自己モデルを用いて, 動的影表現が可能なロボットシステムを提案する。 ソフトスキンドエボディメントは、光漏れを低減し、視覚的に連続したシルエットを生成する一方、微分可能な自己モデルは、タスク非依存の自己探索を通して手の構成と投影された影の外観のマッピングを学習する。 対象のシャドウ画像やビデオが与えられたロボットは、学習した自己モデル1の勾配に基づく探索を通じて手の動きを最適化し、衝突認識シミュレーションにより解を洗練し、物理的に実現可能な動作を得る。 動的シャドウ性能については,表現領域の目的,時間的スムーズな正規化,キーフレームに基づく最適化も導入し,視覚的に重要な動きの手がかりを保ちながら,最適化の複雑さを低減した。 本研究は,手話ジェスチャー,手話人形,動物動作模倣のロボットシャドウ表現をシミュレーションと物理実験の両方で実証する。 これらの結果は、ロボットが自身の投影された視覚的抽象化をコミュニケーションやビジュアルなストーリーテリングのために操作できるようにするための枠組みを確立している。

関連論文リスト

• Masked Visual Actions for Unified World Modeling [96.12988421978463]
  Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。 Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
  論文  参考訳（メタデータ） (2026-07-21T17:59:11Z)
• Do vision models perceive illusory motion in static images like humans? [2.1349209400003932]
  ディープニューラルネットワーク(DNN)は、光学的フロー推定において高い性能を達成するが、人間よりも堅牢性は低い。 視覚運動錯覚はこれらのメカニズムに強力なプローブを与え、人間と機械の視覚がどのように整列するか、あるいは分岐するかを明らかにする。 回転するスネークス上での代表的な光フローモデルを評価し,人間の知覚に整合した流れ場の生成に失敗することが多いことを示す。
  論文  参考訳（メタデータ） (2026-04-10T19:33:33Z)
• Aggregating swarms through morphology handling design contingencies: from the sweet spot to a rich expressivity [0.12744523252873352]
  我々はロボットの自己調整力学の忠実な物理モデルを構築している。 多様な自己アライメントの強さを探索することで、集団行動の豊かな表現力が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-12T14:58:47Z)
• FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint [49.80464592726769]
  本研究では,映像拡散方式であるFacterPortraitを紹介する。 本手法は,運転映像から顔の表情や頭部の動きを移動させることにより,像を識別する。 提案手法は, 現実主義, 表現性, 制御精度, 視点整合性において, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2025-12-12T15:22:52Z)
• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
  DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。 言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。 実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
  論文  参考訳（メタデータ） (2024-05-12T15:38:17Z)
• Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
  視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
  論文  参考訳（メタデータ） (2023-12-04T12:35:43Z)
• Teaching Robots to Build Simulations of Themselves [7.017225535341017]
  本稿では,ロボットが簡単な生ビデオデータのみを用いて,形態,運動学,運動制御をモデル化し,予測できる自己教師付き学習フレームワークを提案する。 この自己学習型シミュレーションは, 正確な動作計画を可能にするだけでなく, 異常を検知し, 損傷から回復することを可能にする。
  論文  参考訳（メタデータ） (2023-11-20T20:03:34Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。