論文の概要: TONUS: Neuromorphic human pose estimation for artistic sound co-creation
- arxiv url: http://arxiv.org/abs/2507.15734v1
- Date: Mon, 21 Jul 2025 15:42:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.465498
- Title: TONUS: Neuromorphic human pose estimation for artistic sound co-creation
- Title（参考訳）: TONUS:芸術的音の共創のためのニューロモーフィックな人間のポーズ推定
- Authors: Jules Lecomte, Konrad Zinner, Michael Neumeier, Axel von Arnim,
- Abstract要約: 音像と視覚出力を微妙な体の動き制御で生成するニューロモルフィック・マルチヘッドヒューマンポーズ推定ニューラルセンサを設計する。
ビジターは、音の雰囲気と、制御する自身の神経処理された表現に没頭し、神経的に考える機械との対話を経験する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human machine interaction is a huge source of inspiration in today's media art and digital design, as machines and humans merge together more and more. Its place in art reflects its growing applications in industry, such as robotics. However, those interactions often remains too technical and machine-driven for people to really engage into. On the artistic side, new technologies are often not explored in their full potential and lag a bit behind, so that state-of-the-art research does not make its way up to museums and exhibitions. Machines should support people's imagination and poetry in a seamless interface to their body or soul. We propose an artistic sound installation featuring neuromorphic body sensing to support a direct yet non intrusive interaction with the visitor with the purpose of creating sound scapes together with the machine. We design a neuromorphic multihead human pose estimation neural sensor that shapes sound scapes and visual output with fine body movement control. In particular, the feature extractor is a spiking neural network tailored for a dedicated neuromorphic chip. The visitor, immersed in a sound atmosphere and a neurally processed representation of themselves that they control, experience the dialogue with a machine that thinks neurally, similarly to them.
- Abstract（参考訳）: 今日のメディアアートとデジタルデザインにおいて、人間と機械の相互作用は大きなインスピレーションの源です。
その芸術的地位は、ロボティクスなどの産業における応用の伸びを反映している。
しかしながら、これらのインタラクションは、人々が本当に関わるには技術的かつマシン駆動的すぎることが多い。
芸術面では、新しい技術は、その潜在能力と遅れが少し遅れているため、最先端の研究が博物館や展覧会に及ばないことが多い。
機械は人の想像力と詩を体や魂にシームレスなインターフェースで支えるべきである。
本稿では, ニューロモーフィックな体感を特徴とする音響機器を提案する。
音像と視覚出力を微妙な体の動き制御で生成するニューロモルフィック・マルチヘッドヒューマンポーズ推定ニューラルセンサを設計する。
特に、この特徴抽出器は、専用のニューロモルフィックチップ用に調整されたスパイクニューラルネットワークである。
ビジターは、音の雰囲気と、制御する自身の神経処理された表現に没頭し、神経的に考える機械との対話を経験する。
関連論文リスト
- Neural Brain: A Neuroscience-inspired Framework for Embodied Agents [58.58177409853298]
大規模な言語モデルのような現在のAIシステムは、いまだに解体され続けており、物理的に世界と関わりが持てない。
この課題の核心は、人間のような適応性を持つエンボディエージェントを駆動するために設計された中枢知能システムであるNeural Brain(ニューラル・ブレイン)の概念である。
本稿では,2つの基本的な課題に対処する,エンボディエージェントのニューラルブレインの統一的枠組みを提案する。
論文 参考訳（メタデータ） (2025-05-12T15:05:34Z) - Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。
ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。
これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
論文 参考訳（メタデータ） (2024-11-04T18:38:50Z) - Compositional 3D Human-Object Neural Animation [93.38239238988719]
人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。
本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。
我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
論文 参考訳（メタデータ） (2023-04-27T10:04:56Z) - Learning body models: from humans to humanoids [2.855485723554975]
人間と動物は、複数の感覚のモダリティからの情報を組み合わせて、複雑な体を制御し、成長、失敗、ツールの使用に適応する。
鍵となる基礎は、エージェント(人間、動物、ロボット)が開発してきた身体の内部表現である。
脳内での体モデルの操作のメカニズムは、ほとんど不明であり、出生後の経験からどのように構築されているかは、あまり分かっていない。
論文 参考訳（メタデータ） (2022-11-06T07:30:01Z) - Pathway to Future Symbiotic Creativity [76.20798455931603]
そこで本研究では, 5クラス階層の創造システムを分類し, 擬人アーティストから機械アーティストへの創造の道筋を示す。
芸術創造においては、機械は欲求、感謝、感情を含む人間の精神状態を理解する必要があるが、機械の創造的能力と限界も理解する必要がある。
我々は、人間互換のAIシステムが「ループ内人間」の原理に基づいているべきだという哲学を取り入れた、未来のマシンアーティストを構築するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-18T15:12:02Z) - Interaction Replica: Tracking Human-Object Interaction and Scene Changes From Human Motion [48.982957332374866]
人間による変化をモデル化することは、デジタル双生児を作るのに不可欠である。
本手法は,シーン中の人間の視覚的位置決めとIMUデータからの人間とシーンの相互作用に関する接触に基づく推論を組み合わせたものである。
私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されています。
論文 参考訳（メタデータ） (2022-05-05T17:58:06Z) - Data-driven emotional body language generation for social robotics [58.88028813371423]
社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。
我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。
評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
論文 参考訳（メタデータ） (2022-05-02T09:21:39Z) - AI-based artistic representation of emotions from EEG signals: a
discussion on fairness, inclusion, and aesthetics [2.6928226868848864]
我々は、人間と機械が芸術的に感情を表現するために対話するAIベースのBrain-Computer Interface(BCI)を提案する。
この相互作用のダイナミクスを理解して、公正性、包摂性、美学の共存性を改善することを目指している。
論文 参考訳（メタデータ） (2022-02-07T14:51:02Z) - Generating Music and Generative Art from Brain activity [0.0]
本研究は,脳-コンピュータインタフェース(BCI)を用いた生成アート作成のための計算システムを提案する。
生成されたアートワークは、脳信号と幾何学、色、空間的位置の概念を使って、自律的な構築に複雑さを与えます。
論文 参考訳（メタデータ） (2021-08-09T19:33:45Z) - Sensorimotor representation learning for an "active self" in robots: A
model survey [10.649413494649293]
人間では、これらの能力は宇宙で私たちの身体を知覚する能力と関連していると考えられている。
本稿では,これらの能力の発達過程について概説する。
人工エージェントにおける自己感覚の出現を可能にする理論計算フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-25T16:31:01Z) - Modeling emotion for human-like behavior in future intelligent robots [0.913755431537592]
我々は、神経科学が芸術の現在の状態をいかに前進させるかを示す。
ロボットモデルにおける感情関連プロセスのより強力な統合は、人間のような行動の設計に不可欠である、と我々は主張する。
論文 参考訳（メタデータ） (2020-09-30T17:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。