論文の概要: Sonify Anything: Towards Context-Aware Sonic Interactions in AR

• arxiv url: http://arxiv.org/abs/2508.01789v1
• Date: Sun, 03 Aug 2025 14:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.065433
• Title: Sonify Anything: Towards Context-Aware Sonic Interactions in AR
• Title（参考訳）: Sonify Anything: ARにおけるコンテキスト対応のソニックインタラクションを目指して
• Authors: Laura Schütz, Sasan Matinfar, Ulrich Eck, Daniel Roth, Nassir Navab,
• Abstract要約: 実物体の材料を認識・分節するコンピュータビジョンの手法を用いた文脈認識型音の枠組みを提案する。 結果は、物質に基づく音がより現実的な音素相互作用をもたらすことを示している。 これらの結果から,ARにおける文脈認識,物質に基づく音素相互作用は,より強い現実感を育み,現実の環境に対する認識を高めることが示唆された。
• 参考スコア（独自算出の注目度）: 38.82194569186157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Augmented Reality (AR), virtual objects interact with real objects. However, the lack of physicality of virtual objects leads to the absence of natural sonic interactions. When virtual and real objects collide, either no sound or a generic sound is played. Both lead to an incongruent multisensory experience, reducing interaction and object realism. Unlike in Virtual Reality (VR) and games, where predefined scenes and interactions allow for the playback of pre-recorded sound samples, AR requires real-time sound synthesis that dynamically adapts to novel contexts and objects to provide audiovisual congruence during interaction. To enhance real-virtual object interactions in AR, we propose a framework for context-aware sounds using methods from computer vision to recognize and segment the materials of real objects. The material's physical properties and the impact dynamics of the interaction are used to generate material-based sounds in real-time using physical modelling synthesis. In a user study with 24 participants, we compared our congruent material-based sounds to a generic sound effect, mirroring the current standard of non-context-aware sounds in AR applications. The results showed that material-based sounds led to significantly more realistic sonic interactions. Material-based sounds also enabled participants to distinguish visually similar materials with significantly greater accuracy and confidence. These findings show that context-aware, material-based sonic interactions in AR foster a stronger sense of realism and enhance our perception of real-world surroundings.
• Abstract（参考訳）: 拡張現実(AR)では、仮想オブジェクトは実際のオブジェクトと相互作用する。 しかし、仮想物体の物理的性質の欠如は、自然な音素相互作用の欠如につながる。 仮想オブジェクトと実オブジェクトが衝突した場合、音もジェネリックサウンドも再生されない。 どちらも無矛盾な多感覚体験をもたらし、相互作用とオブジェクトリアリズムを減らした。 VR(Virtual Reality)やゲームでは、事前に定義されたシーンやインタラクションが事前に録音されたサウンドサンプルの再生を可能にするのとは異なり、ARは対話中にオーディオ視覚の相性を提供するために、新しいコンテキストやオブジェクトに動的に適応するリアルタイム音声合成を必要とする。 本研究では,ARにおける現実的オブジェクトの相互作用を高めるために,コンピュータビジョンの手法を用いて実物体の素材を認識・分節するコンテキスト認識型音の枠組みを提案する。 物質物性と相互作用の衝撃力学を用いて物理モデリング合成を用いて物質ベースの音をリアルタイムで生成する。 被験者24名を対象にしたユーザスタディにおいて,ARアプリケーションにおける非テキスト認識音の標準を反映して,同調音を一般的な音響効果と比較した。 その結果、物質に基づく音は、より現実的な音素相互作用をもたらすことがわかった。 素材をベースとした音により、参加者は視覚的に類似した素材を、精度と信頼性を著しく向上させることができた。 これらの結果から,ARにおける文脈認識,物質に基づく音素相互作用は,より強い現実感を育み,現実の環境に対する認識を高めることが示唆された。

関連論文リスト

• Haptic Repurposing with GenAI [5.424247121310253]
  Mixed Realityは、デジタル世界と物理的な世界を融合して、没入型人間とコンピュータのインタラクションを作ることを目指している。 本稿では,Haptic Repurposing with GenAIを紹介し,任意の物理オブジェクトをAI生成仮想アセットの適応型触覚インターフェースに変換することによってMRインタラクションを強化する革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-11T13:06:28Z)
• PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
  PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。 本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T17:41:05Z)
• VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
  提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。 私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
  論文  参考訳（メタデータ） (2024-01-30T01:28:36Z)
• RealImpact: A Dataset of Impact Sound Fields for Real Objects [29.066504517249083]
  制御条件下で記録された実物体衝撃音の大規模データセットであるRealImpactを提案する。 RealImpactには、50の毎日の物体の衝撃音の15万の録音と詳細なアノテーションが含まれている。 本研究では,物体衝撃音を推定するための現在のシミュレーション手法の参考として,我々のデータセットを用いた予備試行を行う。
  論文  参考訳（メタデータ） (2023-06-16T16:25:41Z)
• Physics-Driven Diffusion Models for Impact Sound Synthesis from Videos [78.49864987061689]
  従来の衝撃音合成法では、音を表現・合成できる物理パラメータのセットを得るために物理シミュレーションを用いていた。 既存のビデオ駆動ディープラーニングベースのアプローチは、視覚コンテンツと衝撃音の間の弱い対応を捉えることしかできなかった。 サイレントビデオクリップに高忠実度衝撃音を合成できる物理駆動拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:59:53Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
  ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。 TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。 我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
  論文  参考訳（メタデータ） (2020-07-09T17:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。