論文の概要: ChladniSonify: A Visual-Acoustic Mapping Method for Chladni Patterns in New Media Art Creation
- arxiv url: http://arxiv.org/abs/2605.09846v1
- Date: Mon, 11 May 2026 01:00:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.449368
- Title: ChladniSonify: A Visual-Acoustic Mapping Method for Chladni Patterns in New Media Art Creation
- Title（参考訳）: ChladniSonify:新しいメディアアート作成におけるChladniパターンの視覚音響マッピング手法
- Authors: Yakun Liu, Hai Luan, Dong Liu, Zhiyu Jin,
- Abstract要約: ChladniSonifyは、Chladniパターンのリアルタイム視覚音響マッピング手法である。
数値計算によるペアデータセットを構築し,有限要素シミュレーションを用いて校正する。
我々はPythonとMax/MSPでエンドツーエンドシステムを構築し、認識されたパターンを対応する正弦波周波数にマッピングする。
- 参考スコア（独自算出の注目度）: 5.407906676682284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In new media art creation, the mapping between vision and hearing is often subjective. As a classic carrier of sound visualization, Chladni patterns have great potential in building audio-visual mapping mechanisms. However, existing tools face pain points: high technical barriers for simulation, offline computing failing real-time interaction, and uncontrollable mapping rules in general sonification tools. To address these, this paper proposes ChladniSonify, a real-time visual-acoustic mapping method for Chladni patterns. Based on Kirchhoff-Love plate theory, we build a paired dataset via numerical programming and calibrate it using ANSYS finite element simulation. Focusing on the slender nodal lines of Chladni patterns, we adopt a lightweight CNN with CBAM to achieve high-precision, low-latency pattern classification. Finally, we build an end-to-end system in Python and Max/MSP, mapping recognized patterns to corresponding sine wave frequencies. Results show the system has excellent usability: the classification module achieves 99.33% accuracy on the test set with 7.03 ms inference latency; the mapped frequency matches the theoretical value with zero deviation; the average end-to-end latency is under 50 ms, meeting real-time interactive needs. This work provides a reproducible engineering prototype for Chladni audio-visual art creation.
- Abstract（参考訳）: 新たなメディアアート創造において、視覚と聴覚のマッピングはしばしば主観的である。
音響ビジュアライゼーションの古典的なキャリアとして、クラドニパターンは、音声と視覚のマッピング機構を構築する上で大きな可能性を秘めている。
しかし、既存のツールは、シミュレーションのための高い技術的障壁、オフラインコンピューティングのリアルタイムインタラクションの失敗、一般的なソリケーションツールにおける制御不能なマッピングルールといった問題点に直面している。
そこで本研究では,Chladniパターンのリアルタイム視覚音響マッピング手法であるChladniSonifyを提案する。
Kirchhoff-Loveプレート理論に基づいて,数値計算によるペアデータセットを構築し,ANSYS有限要素シミュレーションを用いて校正する。
クラドニパターンの細い結節線に着目し,CBAMを用いた軽量CNNを採用し,高精度で低レイテンシなパターン分類を実現する。
最後に、PythonとMax/MSPでエンドツーエンドシステムを構築し、認識されたパターンを対応する正弦波周波数にマッピングする。
分類モジュールは7.03msの推論遅延でテストセットの99.33%の精度を達成し、マッピングされた周波数は理論値とゼロ偏差に一致し、平均的なエンドツーエンドのレイテンシは50ms未満でリアルタイムの対話的ニーズを満たす。
この作品はクラドニ・オーディオ・ヴィジュアル・アート制作のための再現可能なエンジニアリングのプロトタイプを提供する。
関連論文リスト
- Melody or Machine: Detecting Synthetic Music with Dual-Stream Contrastive Learning [0.4310167974376404]
Melody or Machineは、13万曲以上の大規模なベンチマークだ。
CLAMは、新しいデュアルストリーム検出アーキテクチャである。
挑戦的なMoMベンチマークでは、F1スコアが0.925に達しています。
論文 参考訳（メタデータ） (2025-11-29T20:25:20Z) - Thinking While Listening: Simple Test Time Scaling For Audio Classification [61.3564313676731]
本稿では,ニューラルネットワークが日常の音を聴きながら"考える"ことを可能にするフレームワークを提案する。
大規模言語モデルの推論能力の最近の進歩により、我々は2つの中心的な疑問に対処する: (i) 既存の音声分類パイプラインに思考を組み込んで、カテゴリ空間での推論を可能にし、パフォーマンスを向上させる方法、(ii) 思考とテストタイムのスケーリングの両方をサポートするために、新しいアーキテクチャをゼロから設計することができるか。
論文 参考訳（メタデータ） (2025-09-24T01:17:24Z) - Scaling Self-Supervised Representation Learning for Symbolic Piano Performance [52.661197827466886]
本研究では,多量のシンボリック・ピアノ転写を訓練した自己回帰型トランスフォーマモデルの能力について検討した。
比較的小型で高品質なサブセットをファインチューンモデルに使い、音楽の継続を生成、シンボリックな分類タスクを実行し、汎用的なコントラストMIDI埋め込みを生成する。
論文 参考訳（メタデータ） (2025-06-30T14:00:14Z) - Fine-Tuning MIDI-to-Audio Alignment using a Neural Network on Piano Roll and CQT Representations [2.3249139042158853]
本稿では,人間のピアノ演奏の音声録音と,それに対応するゆるやかなMIDIファイルとを同期させるニューラルネットワーク手法を提案する。
提案手法は,業界標準の動的時間ワープ法(DTW)よりも最大20%高いアライメント精度を実現する。
論文 参考訳（メタデータ） (2025-06-27T13:59:50Z) - From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。
これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。
低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-02T22:14:29Z) - Real-time Percussive Technique Recognition and Embedding Learning for
the Acoustic Guitar [2.5291326778025143]
リアルタイム音楽情報検索(RT-MIR)は,従来の音響機器の能力を高める可能性が大きい。
本研究では,アコースティックギターとギターボディのパーカッションをブレンドしたパーカッシブフィンガースタイルの強化を目的としたRT-MIR技術を開発した。
本稿では,畳み込みニューラルネットワーク(CNN)と変分オートエンコーダ(VAE)に基づくリアルタイムギターボディパーカッション認識と埋め込み学習技術について述べる。
論文 参考訳（メタデータ） (2023-07-13T10:48:29Z) - High Fidelity Neural Audio Compression [92.4812002532009]
我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。
ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。
単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
論文 参考訳（メタデータ） (2022-10-24T17:52:02Z) - Taming Visually Guided Sound Generation [21.397106355171946]
近年の視覚誘発音声生成の進歩は,短音,低忠実音,一級音のサンプリングに基づいている。
本稿では,オープンドメインビデオから一組のフレームで誘導される高忠実度音を,単一のGPUで再生するよりも少ない時間で生成できる単一モデルを提案する。
論文 参考訳（メタデータ） (2021-10-17T11:14:00Z) - Score-informed Networks for Music Performance Assessment [64.12728872707446]
MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。
スコアインフォームド性能評価が可能な3つのモデルを提案する。
論文 参考訳（メタデータ） (2020-08-01T07:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。