論文の概要: Drive-to-Music: Context-Aware Generative Audio for In-Vehicle Experiences
- arxiv url: http://arxiv.org/abs/2608.12615v1
- Date: Wed, 12 Aug 2026 21:54:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.333384
- Title: Drive-to-Music: Context-Aware Generative Audio for In-Vehicle Experiences
- Title（参考訳）: Drive-to-Music:車内体験のためのコンテキスト認識生成オーディオ
- Abstract要約: Drive-to-Musicは、マルチモーダル駆動信号からリアルタイムで音楽を生成するコンテキスト認識システムである。
このアーキテクチャは知覚と生成成分を組み合わせて視覚と運動の入力を構造化された音楽属性に変換する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In-vehicle music can serve as an adaptive interface to enhance driver experience, attention, and well-being. We present Drive-to-Music, a context-aware system that generates music in real time from multimodal driving signals. Using dashcam imagery and vehicle telemetry, the system extracts scene semantics and driving context, maps them to high-level musical descriptors, and conditions generative audio models to produce contextually aligned soundtracks. The architecture combines perception and generative components to translate visual and kinematic inputs into structured musical attributes and synthesize audio with low latency. It supports smooth transitions as driving conditions evolve, and to ensure robustness and deployment readiness, we incorporate constraint-based controls and safety checks across the generation pipeline. Our results demonstrate the feasibility of real-time, context-aware music generation in automotive settings, providing a foundation for personalized and adaptive in-vehicle audio experiences.
- Abstract（参考訳）: 車内音楽はドライバー体験、注意力、幸福感を高めるための適応的なインターフェースとして機能する。
マルチモーダル駆動信号からリアルタイムに音楽を生成するコンテクスト認識システムであるDrive-to-Musicを提案する。
ダシュカム画像と車載テレメトリを用いて、シーンのセマンティクスと駆動コンテキストを抽出し、それらを高レベルの音楽ディスクリプタにマッピングし、環境に整合したサウンドトラックを生成する。
このアーキテクチャは知覚と生成成分を組み合わせて、視覚と運動の入力を構造化された音楽属性に変換し、低レイテンシでオーディオを合成する。
駆動条件が進化するにつれてスムーズなトランジションをサポートし、堅牢性とデプロイメントの準備が整うために、私たちは、ジェネレーションパイプライン全体で制約ベースのコントロールと安全性チェックを取り込んでいます。
本研究は,自動車環境におけるリアルタイム・コンテキスト対応音楽生成の実現可能性を示し,車内オーディオ体験のパーソナライズと適応化のための基盤を提供するものである。
関連論文リスト
- AMAVA: Adaptive Motion-Aware Video-to-Audio Framework for Visually-Impaired Assistance [1.8199179205103146]
AMAVAは,モバイル機器の映像を文脈的に関連した音響効果やテキスト音声記述に変換する,新しいリアルタイムビデオ音声合成フレームワークである。
静的環境において、AMAVAは状況認識のための音声シーン記述を生成する。
高移動環境では、音声による危険警報や環境音の影響など、音の手がかりを届けることによって安全性を優先する。
論文 参考訳（メタデータ） (2026-04-26T23:03:15Z) - EXPOTION: Facial Expression and Motion Control for Multimodal Music Generation [5.834095167258525]
本稿では,マルチモーダルな視覚制御,特に人間の表情と上半身の動きを利用した生成モデルを提案する。
我々は、事前訓練されたテキスト-音楽生成モデルにパラメータ効率細調整(PEFT)を適用した。
表情と上半身のジェスチャーを対応音楽に合わせる7時間の同期映像記録からなる新しいデータセットを提案する。
論文 参考訳（メタデータ） (2025-07-07T12:56:20Z) - ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [47.14083940177122]
ThinkSoundは、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。
提案手法は,3つの相補的な段階 – セマンティック・コヒーレント,インタラクティブなオブジェクト中心の改良,ターゲット編集 – に分解する。
実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-06-26T16:32:06Z) - Audio-Sync Video Generation with Multi-Stream Temporal Control [64.00019697525322]
我々は,正確な音声-視覚同期を備えたビデオ生成のための多目的フレームワークであるMTVを紹介する。
MTVは音声を音声、エフェクト、トラックに分離し、唇の動き、イベントタイミング、視覚的気分を制御できる。
このフレームワークをサポートするために、高品質な撮影ビデオとデミックスされたオーディオトラックのデータセットであるDremixを提示する。
論文 参考訳（メタデータ） (2025-06-09T17:59:42Z) - A Real-Time Gesture-Based Control Framework [2.432598153985671]
そこで我々は,リアルタイム・ヒューマン・イン・ザ・ループ・ジェスチャ・コントロール・フレームワークを提案する。
人間の動きに基づいて、オーディオと音楽を動的に適応させることができる。
システムはライブパフォーマンス、インタラクティブなインストール、個人利用のために設計されている。
論文 参考訳（メタデータ） (2025-04-28T03:57:28Z) - MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。
MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。
音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-10-16T18:44:56Z) - MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation [19.878013881045817]
MusiConGenは、一時条件付きトランスフォーマーベースのテキスト-音楽モデルである。
条件信号として自動的に抽出されたリズムとコードを統合する。
MusiConGenは,特定の条件に整合したリアルなバックトラック音楽を生成することができることを示す。
論文 参考訳（メタデータ） (2024-07-21T05:27:53Z) - AudioScenic: Audio-Driven Video Scene Editing [55.098754835213995]
本稿では,映像シーン編集のためのオーディオ駆動フレームワークであるAudioScenicを紹介する。
AudioScenicは、時間対応の音声セマンティックインジェクションプロセスを通じて、音声セマンティクスを視覚シーンに統合する。
音の大きさの変化に応じてシーンの時間的ダイナミクスを調節するオーディオ・マグニチュード・モジュレータ・モジュールを提案する。
第2に、オーディオ周波数フーザーモジュールは、映像シーンのダイナミックスとオーディオの周波数を一致させることにより、時間的一貫性を確保するように設計されている。
論文 参考訳（メタデータ） (2024-04-25T12:55:58Z) - Align, Adapt and Inject: Sound-guided Unified Image Generation [50.34667929051005]
本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。
本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。
提案するAAIは、他のテキストや音声誘導方式よりも優れています。
論文 参考訳（メタデータ） (2023-06-20T12:50:49Z) - Audio-Visual Contrastive Learning with Temporal Self-Supervision [84.11385346896412]
人間の監督なしにRGBフレームと付随するオーディオの両方の表現を学習するビデオのための自己教師付き学習手法を提案する。
ビデオに固有の時間的・聴覚的次元を活用するために,本手法は時間的自己監督を音声視覚設定に拡張する。
論文 参考訳（メタデータ） (2023-02-15T15:00:55Z) - MusCaps: Generating Captions for Music Audio [14.335950077921435]
時間的注目のエンコーダデコーダで構成された最初の音楽オーディオキャプションモデルであるMusCapsを紹介します。
本手法は畳み込み型ニューラルネットワークアーキテクチャと繰り返し型ニューラルネットワークアーキテクチャを組み合わせて,音声テキスト入力を共同処理する。
我々のモデルは、分類に基づく音楽記述から脱却し、聴覚と言語の両方の理解を必要とするタスクを組み合わせている。
論文 参考訳（メタデータ） (2021-04-24T16:34:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。