論文の概要: Passing: An Endless Journey through Reconstructed Spacetime with AI-Generated Sound

• arxiv url: http://arxiv.org/abs/2609.27489v1
• Date: Wed, 23 Sep 2026 07:48:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.936435
• Title: Passing: An Endless Journey through Reconstructed Spacetime with AI-Generated Sound
• Title（参考訳）: AIが生み出す音で再構築された時空を旅する「Passing」
• Abstract要約: Passingはインタラクティブなオーディオヴィジュアル・インストレーションで、1つの連続したモノレール・ウインドウ・レコーディングから無限の旅を生成する。 映像を直線的に再生するのではなく、その空間構造と時間構造を非線形軌道に沿って再現する。 カメラベースの存在検知システムは、視聴者が視聴ゾーンに存在するか否かを推定し、この存在状態を用いて、レンダリングされたビデオシーケンス間の遷移に影響を与える。
• 参考スコア（独自算出の注目度）: 32.684356791049986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Passing, an interactive audiovisual installation that generates an endless journey from a single continuous monorail-window recording by reconstructing it as a spatiotemporal volume. Rather than replaying the footage linearly, the work resamples its spatial and temporal structure along nonlinear trajectories, producing a continuously passing landscape whose depth, speed, and temporal order become unstable. A camera-based viewer-presence detection system estimates whether a viewer is present in the viewing zone and uses this presence state to influence transitions among rendered video sequences. The resulting video stream is fed into SpecMaskFoley, a real-time video-to-audio synthesis model that generates a synchronized soundscape for the reconfigured image. The model is not used to reconstruct an objectively correct soundtrack, but functions as a speculative listener, proposing a possible auditory interpretation of a world whose conventional spatial and temporal premises have been disrupted. Passing distributes creative agency across the artist, who defines the rules of spacetime reconstruction; the AI model, which interprets the emergent visual flow as sound; and the audience, whose embodied presence influences the audiovisual trajectory. Through this structure, the work investigates how authorship and listening may be negotiated among human intention, machine inference, and audience interpretation. Artwork page: https://ryufurusawa.com/passing
• Abstract（参考訳）: 本稿では,一本のモノレール・ウインドウ記録を時空間ボリュームとして再構成することで,一本の連続的なモノレール・ウインドウ記録から無限の旅路を生成する対話型オーディオヴィジュアル・インストレーションであるPassingを紹介する。 映像を直線的に再生するのではなく、非線型軌道に沿って空間的・時間的構造を再構成し、深さ、速度、時間的秩序が不安定な連続的な風景を作り出す。 カメラベースビューアプレゼンス検出システムは、視聴者が視聴ゾーンに存在するか否かを推定し、この存在状態を用いて、レンダリングされたビデオシーケンス間の遷移に影響を与える。 生成されたビデオストリームは、再構成された画像の同期サウンドスケープを生成するリアルタイムビデオ音声合成モデルであるSpecMaskFoleyに入力される。 このモデルは、客観的に正しいサウンドトラックを再構成するために使用されるのではなく、投機的リスナーとして機能し、従来の空間的および時間的前提が破壊されている世界の聴覚的解釈を提案する。 通過は、時空再構成のルールを定義する創造的エージェンシー、創発的な視覚の流れを音として解釈するAIモデル、そしてその存在を具現化したオーディエンスに影響を及ぼすオーディエンスに分散する。 この構造を通して、人間の意図、機械推論、聴衆の解釈の間で、著者と聴取がどのように交渉されるかを調べる。 アートワークページ:https://ryufurusawa.com/passing

関連論文リスト

• OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams [57.22276728212066]
  現代の視覚エージェントは、リアルタイムストリーミング環境で動作するために、一般的な、因果的、物理的に構造化された表現を必要とする。 本稿では,多様な視覚入力を効果的に知覚し,再構成し,動作させる,統合されたストリーミング視覚バックボーンであるOmniStreamを紹介する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:55Z)
• SpatialV2A: Visual-Guided High-fidelity Spatial Audio Generation [15.901895888187711]
  BinauralVGSoundは、空間的に認識されたビデオ・オーディオ生成をサポートするために設計された、最初の大規模ビデオ・バイオーラルオーディオデータセットである。 このフレームワークには視覚誘導型音響空間化モジュールが組み込まれており、生成したオーディオが現実的な空間特性と層状空間深さを示すことを保証する。
  論文  参考訳（メタデータ） (2026-01-21T14:14:37Z)
• ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation [55.76423101183408]
  ViSAudioは、条件付きフローマッチングとデュアルブランチオーディオ生成アーキテクチャを利用するエンドツーエンドフレームワークである。 空間浸漬による高品質なオーディオを生成し、視点の変化、音源の動き、様々な音響環境に適応する。
  論文  参考訳（メタデータ） (2025-12-02T18:56:12Z)
• InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
  我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。 無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。 HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
  論文  参考訳（メタデータ） (2025-08-19T17:55:23Z)
• StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
  オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。 本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
  論文  参考訳（メタデータ） (2025-08-11T17:58:24Z)
• FolAI: Synchronized Foley Sound Generation with Semantic and Temporal Alignment [11.796771978828403]
  ビデオから時間的コヒーレントかつ意味論的に制御可能な音響効果を生成する2段階生成フレームワークであるFolAIを紹介する。 その結果、我々のモデルは、時間的に視覚運動に整合し、意味的にユーザ意図と整合し、知覚的にリアルな音声を確実に生成することがわかった。 これらの知見は、FolAIがプロと対話的な環境でスケーラブルで高品質なフォーリー音声合成のための、制御可能でモジュラーなソリューションとしての可能性を強調している。
  論文  参考訳（メタデータ） (2024-12-19T16:37:19Z)
• SOAF: Scene Occlusion-aware Neural Acoustic Field [9.651041527067907]
  そこで我々は,Scene Occlusion-aware Acoustic Field (SOAF) と呼ばれる新しい手法を提案する。 提案手法は,距離対応パラメトリック音波伝搬モデルを用いて,音場に対する大域的先行を導出する。 そこで我々は、Fibonacci Sphereを用いて、受信機を中心とする局所音場から特徴を抽出し、新しいビューのための音声を生成する。
  論文  参考訳（メタデータ） (2024-07-02T13:40:56Z)
• Soundini: Sound-Guided Diffusion for Natural Video Editing [29.231939578629785]
  ゼロショット設定で映像の特定の領域に音声誘導視覚効果を加える手法を提案する。 本研究は,音の特殊な特性を持つ様々な音源からの音声誘導自然な映像編集を初めて行ったものである。
  論文  参考訳（メタデータ） (2023-04-13T20:56:53Z)
• Egocentric Audio-Visual Object Localization [51.434212424829525]
  本研究では,エゴモーションを明示的に処理する時空間アグリゲーションモジュールを提案する。 エゴモーションの効果は、時間的幾何変換を推定し、それを利用して視覚的表現を更新することによって緩和される。 視覚的に指示された音声表現をアンタングルすることで、モーダルな局所化の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-03-23T17:43:11Z)
• Audio-Visual Contrastive Learning with Temporal Self-Supervision [84.11385346896412]
  人間の監督なしにRGBフレームと付随するオーディオの両方の表現を学習するビデオのための自己教師付き学習手法を提案する。 ビデオに固有の時間的・聴覚的次元を活用するために,本手法は時間的自己監督を音声視覚設定に拡張する。
  論文  参考訳（メタデータ） (2023-02-15T15:00:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。